如何编写python爬虫?以及在张大妈比价项目中的应用!
zhezhongyun 2025-01-02 20:28 45 浏览
最近打算买一些家电,但是电商平台众多,于是我想看看每天到底有多少商品进行降价了,同一款商品在不同平台中的价格又是多少?于是我从0开始翻阅了一些python资料,写了几个python小爬虫。
项目背景:电商平台众多,监测每个电商平台每日价格出现历史新低的商品,同一型号商品在不同电商平台的价格并且在同一张图标中绘制出来,方便筛需要的商品
项目名称:Hi张大妈比价(hizdm.com)
方案实施:如果要进行价格比对,当然少不了对数据的抓取,由于本人比较擅长php但通过百度(如果能用狗哥,谁还用它啊,虽说有vpn好像被360收集了经常断)得知python抓取会更好一些,于是就选择了python,之前没有用过python,于是在网上学了学python。
由于是比价固得先有思路,因为有些商品没法标准化,还好要买的电器还是能找到标准化的规则(爬虫爬取每个商品的说明找到产品型号,没错我进行数据标准化的规则就是按着商品型号来的)
首先选一些种子选手,京东、苏宁、国美,谁让你们在家电方面是龙头呢,O(∩_∩)O哈哈~,由于是新手我一次就抓取了所需要的产品缩略图、产品链接、产品参数、产品名称以及产品型号进行独立存取,这样文件在以后再进行比对筛选唯一(对型号进行字符串规则化,替换中文括号横线等等然后在strtolow,这样比对起来成功匹配率在98%),然后在入库(网站基础规划就不详解了,如感兴趣可联系我)。
以京东为例爬虫如下:
! /usr/bin/python
#utf-8
import re
import os
import sys
import time
import urllib2
import cookielib
from bs4 import BeautifulSoup
reload(sys)
sys.setdefaultencoding('utf-8')
class jdSpider:
def __init__(self, url, header, header2, brand):
self.url = url
self.header = header
self.header2 = header2
self.brand = brand
def crawl(self):
req = urllib2.Request(self.url, headers = self.header)
con = urllib2.urlopen(req)
html = con.read()
con.close()
soup = BeautifulSoup(html)
one = soup.find('ul', {'class' : 'gl-warp'})
two = one.find_all('li', {'class' : 'gl-item'})
i = 0
c = ''
img = ''
base = 'http:'
for three in two:
i = i + 1
print i
if i > 0:
img = base + str(three.find('img').get('data-lazy-img'))
four = three.find('div', {'class' : 'p-name'})
product_link = base + str(four.find('a').get('href'))
product_name = four.find('em').get_text()
req2 = urllib2.Request(product_link, headers = self.header2)
con2 = urllib2.urlopen(req2)
html2 = con2.read()
con2.close()
soup2 = BeautifulSoup(html2)
five = soup2.find('table', {'class' : 'Ptable'})
if five:
six = five.find_all('td')
j = 1
tag = ''
brand = ''
param = ''
for seven in six:
if j == 2:
brand = seven.get_text().strip()
if j == 4:
tag = seven.get_text().strip()
if j % 2 == 1:
param = param + seven.get_text().strip() + '||'
else:
param = param + seven.get_text().strip() + '|||'
j = j + 1
c = 'jd^^^' + brand + '^^^' + tag + '^^^' + product_name + '^^^' + product_link + '^^^' + img + '^^^' + param + '\n'
print c
if __name__ == '__main__':
'
header = {'Host': 'list.jd.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:26.0) Gecko/20100101 Firefox/26.0',
'Accept': 'textml,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Encoding': 'deflate',
'Connection': 'keep-alive'}
header2 = {'Host': 'item.jd.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:26.0) Gecko/20100101 Firefox/26.0',
'Accept': 'textml,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Encoding': 'deflate',
'Connection': 'keep-alive'}
brand = raw_input("Product: ")
url = raw_input("Url: ")
spider = jdSpider(url, header, header2, brand)
spider.crawl()
以上代码可供大家研究版权归属Hi张大妈比价,由于python是速成,请大家轻喷,当然也希望大家支持Hi张大妈(hizdm.com)!
相关推荐
- 3 分钟!AI 从零开发五子棋全过程曝光,网友:这效率我服了
-
<!DOCTYPEhtml><htmllang="zh-CN"><head><metacharset="UTF-8...
- 一行代码实现display"过渡动画"原理
-
作者:Peter谭老师转发链接:https://mp.weixin.qq.com/s/XhwPOv62gypzq5MhhP-5vg写本文的起因上篇文章,提到如何让display出现过渡动画,却没有仔...
- 脑洞:琼恩·雪诺、蝙蝠侠和魔形女的灵魂宠物了解一下
-
AlekseiVinogradovisaRussianfreelancedigitalartistwhoshareshisskillsandtalentwith120k...
- 浏览器的渲染机制、重绘、重排
-
1、什么是重排和重绘网页生成过程:HTML被HTML解析器解析成DOM树css则被css解析器解析成CSSOM树结合DOM树和CSSOM树,生成一棵渲染树(RenderTree)生成布局(flo...
- 托福写作高频考题写作思路&词汇丨考虫独家
-
科技话题与媒体话题是托福写作的常考话题很多考生对这两类话题里的专有词汇表达也许很不了解所以今天就跟随考虫托福写作老师刘云龙老师一起来学习在这些话题的写作里你可以使用哪些有用的表达。希望大家有收获!记得...
- 在优麒麟上使用 Electron 开发桌面应用
-
使用Web标准来创建桌面GUI,上手快、成本低、跨平台、自适应分辨率,这些都是Electron的优势。作者/来源:优麒麟Electron是由Github开发,用HTML、CSS和...
- php手把手教你做网站(三十八)jquery 转轮盘抽奖,开盲盒
-
抽奖和开盲盒性质一样的都是通过ajax读取后台的随机数据。1、转轮盘本来是想直接绘图实现轮盘,但是没有找到怎么填充文字,只好把轮盘弄成了背景图,通常用于游戏抽道具,商城积分抽奖,公司年末员工抽奖点击抽...
- 用 CSS 整活!3D 轮播图手把手教学,快乐代码敲出来
-
兄弟们,今天咱来搞点好玩的——用CSS整一个3D轮播图!咱野生程序员就是要在代码里找乐子,技术和快乐咱都得要!代码是写不完的,但咱能自己敲出快乐来,走起!一、先整个容器,搭个舞台咋先写一个...
- 实现一个超酷的 3D 立体卡片效 #前端开发
-
今天我们来实现一个超酷的3D立体卡片效果。正常情况下就是一个普通的图片展示卡片,鼠标悬停的时候图片会跳出卡片,并将影子投射到背景卡片上,在视觉上有一个3D立体感。html主要分成3个部分:容器→背景层...
- Vue 3 Teleport与Suspense:解决UI难题的两个"隐藏大招"
-
模态框的"层级噩梦"与Teleport的救赎"这个模态框怎么又被父容器截断了?"团队协作开发后台系统时,小张第N次遇到这个问题。多层嵌套的组件结构里,弹窗被overfl...
- 让交互更加生动!有意思的鼠标跟随 3D 旋转动效
-
今天,群友问了这样一个问题,如下所示的鼠标跟随交互效果,如何实现:简单分析一下,这个交互效果主要有两个核心:借助了CSS3D的能力元素的旋转需要和鼠标的移动相结合本文,就将讲述如何使用纯CSS...
- 填坑:transform元素导致zindex失效终极方法
-
今天遇到了使用css3动画的元素层级被放大置顶的问题,ios浏览器上没问题,安卓原生浏览器和安卓微信上有问题。使用了css3动画的元素z-index失效,兄弟元素设置多高的z-index都盖不住解决办...
- 诡异的层级错乱:一个被transform隐藏的CSS陷阱
-
周五下午三点十七分,设计部突然发来紧急截图——原本应该悬浮在顶部的导航菜单,此刻正诡异地被下方的轮播图遮挡。我盯着屏幕上错乱的层级关系,手指下意识地敲下z-index:9999,心里清楚这不过是程序...
- 动画篇--碎片动画
-
本文授权转载,作者:Sindri的小巢(简书)前言从最开始动笔动画篇的博客,至今已经过去了四个多月。这段时间回头看了看自己之前的动画文章,发现用来讲解动画的例子确实不那么的赏心悦目。于是这段时间总是想...
- Nature:大洋转换断层处的拉张构造与两阶段地壳增生
-
Nature:大洋转换断层处的拉张构造与两阶段地壳增生转换断层是三种基本的板块边界之一,全球总长度超过48000km(Bird,2003),它们的发现为板块构造理论的建立奠定了重要的基础(Wil...
- 一周热门
- 最近发表
- 标签列表
-
- HTML 教程 (33)
- HTML 简介 (35)
- HTML 实例/测验 (32)
- HTML 测验 (32)
- JavaScript 和 HTML DOM 参考手册 (32)
- HTML 拓展阅读 (30)
- HTML文本框样式 (31)
- HTML滚动条样式 (34)
- HTML5 浏览器支持 (33)
- HTML5 新元素 (33)
- HTML5 WebSocket (30)
- HTML5 代码规范 (32)
- HTML5 标签 (717)
- HTML5 标签 (已废弃) (75)
- HTML5电子书 (32)
- HTML5开发工具 (34)
- HTML5小游戏源码 (34)
- HTML5模板下载 (30)
- HTTP 状态消息 (33)
- HTTP 方法:GET 对比 POST (33)
- 键盘快捷键 (35)
- 标签 (226)
- HTML button formtarget 属性 (30)
- CSS 水平对齐 (Horizontal Align) (30)
- opacity 属性 (32)