犹豫再三、应粉丝的要求，经过几个小时的整理，爬虫案例：全国7天天气、3小时预报、7天生活指数信息的方法，这才与粉丝见面。这次预报信息的提取方法，与Python编程实践网络爬虫案例：爬取全国天气网，天气信息不用愁所用方法有所不同，这次在这一个案例里，对1-7天的日期、天气、温度、风速等天气预报和分时段3小时日期、天气、温度、风速等天气预报、1-7天生活指数预报信息，以及发布时间等信息进行了提取，希望粉丝对预报信息的提取有更深的理解。
一、数据网站介绍
中央气象台网站提供了1-7天的各要素天气预报和分时段3小时天气预报、1-7天生活指数预报信息。该网站通过气象观测数据和数值模型分析，提供了全国范围内各地区未来7天的天气预报和生活指数。用户可以通过该网站获取准确的天气预报，以便做出相应的气象决策和安排。无论是个人还是专业人士，都可以在中央气象台网站上获取可靠的天气预报信息，以帮助其日常生活或工作中的气象需求。
二、天气预报信息爬虫的基本流程
首先对网站发起请求，获取相应内容，对返回的内容进行解析，最后就保存数据。
三、实现过程
第一步：导入库
import requests
from bs4 import BeautifulSoup
import json第二步：获取网页源代码
# 1 获取网页内容
# 发送请求，获取响应
url = 'http://www.weather.com.cn/weather/101200101.shtml'
response = requests.get(url)
# 从响应中获取数据
page = response.content.decode()第三步：解析网页
1.查找天气预报信息的节点
通过分析网站返回的内容，天气预报有效信息都在 id="7d"，天气预报信息的节点内。如图所示：
2.html5lib方式解析天气信息
我们使用BeautifulSoup模块对网页内容，进行html5lib方式的解析。（BeautifulSoup模块具体使用，后面有时间整理出来分享给粉丝）
查找标签：id='7d'，获取标签内容，id_7d_conent就包含了7天天气预报、分时段天气预报和生活指数预报）。
# 2 提取天气预报信息
# 构建bs对象
soup = BeautifulSoup(page, 'html5lib')
# 查找标签
id_7d_conent = soup.find(id='7d')3.获取7天天气预报更新时间和开始时间
分析id_7d_conent的内容，发现7天的天气预报开始时间和更新时间在两个input里面，如下图箭头所示。
一个是id="
fc_24h_internal_update_time"中'value'预报的开始日期时间，另外一个是id="update_time"中'value'是更新时间。代码实例如下：
#7天天气预报的开始日期时间
fc_24h_internal_update_time = id_7d_conent.find(id='fc_24h_internal_update_time')['value']
#提取天气预报更新时间
update_time = id_7d_conent.find(id='update_time')['value']通过提取，获得7天天气预报的开始日期时间和天气预报结论更新时间。
4、获取7天天气预报具体内容
分析id_7d_conent的内容，发现7天的天气预报class="t clearfix">....
里面，每天的预报在
代码实例如下：
#获取7天气预报的内容
ul = id_7d_conent.find('ul')
li = ul.find_all('li')
dates = []
wws = []
temps = []
ddffs = []
# 获取日期dates、天气wws、温度temps、风级ddffs
for i in range(len(li)):
date = li[i].find('h1').text
p = li[i].find_all('p')
ww = p[0].text
temp = p[1].text.strip()
ddff = p[2].text.strip()
dates.append(date)
wws.append(ww)
temps.append(temp)
ddffs.append(ddff)使用了find_all，获得每天预报的html信息，然后对每天的预报html进行进一步解析，得到每天的日期、天气、温度、风级，7天的天气预报分别储存在dates、wws、temps、ddffs。分解结果如下图所示：
5.获取3小时天气预报信息的更新时间
分析id_7d_conent的内容，发现3小时天气预报信息的更新时间以个input里面，如下图箭头所示。
id="
fc_3h_internal_update_time" 中 'value' 3小时天气预报信息的更新时间。代码实例如下：
fc_3h_update_time = id_7d_conent.find(id='fc_3h_internal_update_time')['value']
print(fc_3h_update_time)6、获取3小时天气预报信息的内容
如上图的下面的连个箭头显示，我们发现，分时段天气预报的信息在以，var hour3data= 开头的一行字符串中，7d为7天的分时段天气预报内容。具体内容如下所示：
var hour3data={"1d":["27日20时,n02,阴,25℃,无持续风向,<3级,0","27日23时,n01,多云,22℃,北风,<3级,0","28日02时,n01,多云,21℃,北风,<3级,0","28日05时,n01,多云,22℃,北风,<3级,0","28日08时,d01,多云,23℃,北风,<3级,2","28日11时,d01,多云,28℃,东北风,<3级,2","28日14时,d01,多云,30℃,北风,<3级,2","28日17时,d01,多云,29℃,东北风,<3级,2","28日20时,n01,多云,26℃,北风,<3级,0"],"23d":[["30日08时,d07,小雨,22℃,北风,<3级,3","30日11时,d02,阴,26℃,北风,<3级,3","30日14时,d02,阴,25℃,东北风,<3级,3","30日17时,d02,阴,24℃,东北风,<3级,3","30日20时,n02,阴,24℃,北风,<3级,0","01日02时,n01,多云,23℃,东北风,<3级,0"],["01日08时,d07,小雨,21℃,东北风,<3级,3","01日14时,d00,晴,24℃,东北风,<3级,1","01日20时,n00,晴,22℃,东北风,<3级,0","02日02时,n01,多云,21℃,东北风,<3级,0"]],"7d":[["27日20时,n02,阴,25℃,无持续风向,<3级,0","27日23时,n01,多云,22℃,北风,<3级,0","28日02时,n01,多云,21℃,北风,<3级,0","28日05时,n01,多云,22℃,北风,<3级,0"],["28日08时,d01,多云,23℃,北风,<3级,2","28日11时,d01,多云,28℃,东北风,<3级,2","28日14时,d01,多云,30℃,北风,<3级,2","28日17时,d01,多云,29℃,东北风,<3级,2","28日20时,n01,多云,26℃,北风,<3级,0","28日23时,n01,多云,25℃,东北风,<3级,0","29日02时,n01,多云,23℃,东北风,<3级,0","29日05时,n01,多云,24℃,东北风,<3级,0"],["29日08时,d01,多云,26℃,东北风,<3级,2","29日11时,d02,阴,27℃,东北风,<3级,3","29日14时,d02,阴,29℃,北风,<3级,3","29日17时,d02,阴,27℃,西北风,<3级,3","29日20时,n02,阴,26℃,东北风,<3级,0","29日23时,n01,多云,24℃,北风,<3级,0","30日02时,n01,多云,22℃,北风,<3级,0","30日05时,n07,小雨,21℃,北风,<3级,0"],["30日08时,d07,小雨,22℃,北风,<3级,3","30日11时,d02,阴,26℃,北风,<3级,3","30日14时,d02,阴,25℃,东北风,<3级,3","30日17时,d02,阴,24℃,东北风,<3级,3","30日20时,n02,阴,24℃,北风,<3级,0","01日02时,n01,多云,23℃,东北风,<3级,0"],["01日08时,d07,小雨,21℃,东北风,<3级,3","01日14时,d00,晴,24℃,东北风,<3级,1","01日20时,n00,晴,22℃,东北风,<3级,0","02日02时,n01,多云,21℃,东北风,<3级,0"],["02日08时,d01,多云,21℃,东北风,<3级,3","02日14时,d02,阴,24℃,东风,<3级,3","02日20时,n02,阴,23℃,北风,<3级,0","03日02时,n01,多云,22℃,北风,<3级,0"],["03日08时,d07,小雨,21℃,北风,<3级,3","03日14时,d01,多云,23℃,北风,<3级,3","03日20时,n01,多云,20℃,北风,<3级,0","04日02时,n02,阴,22℃,西北风,<3级,0"],["04日08时,d02,阴,23℃,北风,<3级,3","04日14时,d07,小雨,24℃,北风,<3级,3","04日20时,n07,小雨,21℃,北风,<3级,0"]]}为了得到分时段天气预报的具体信息，我编写了get_section_forecast函数，lines：就是forecast_text每行的内容，prefix：即使字符串的前缀，取值：var hour3data=，
# 获取标签id='7d'的文字内容
forecast_text = id_7d_conent.text
# 以'\n'切分，获得每行的内容lines[]
lines = forecast_text.split('\n')
def get_section_forecast(lines,prefix):
str_len = len(prefix)
for i in range(len(lines)):
if lines[i][0:str_len]==prefix:
return lines[i][str_len:]
return ''去掉前缀后，后面的信息就是分时段天气预报的具体信息，而且还是json字符串。
7、json解析分时段天气预报
# 提取3小时预报，json字符串
json_str = get_section_forecast(lines,"var hour3data=")
forecast = json.loads(json_str)
ww_3h_7d = forecast['7d']
ww_3h_forecast=[]
for i in range(len(ww_3h_7d)):
ww_3h = ww_3h_7d[i]
for ii in range(len(ww_3h)):
ww_3h_forecast.append(ww_3h[ii])
print(ww_3h_forecast)运行结果如下：
8、解析生活指数信息的发布时间
分析id_7d_conent的内容，发现生活指数预报信息的更新时间以以个input里面，其id="zs_7d_update_time"，如下图箭头所示。
id="zs_7d_update_time" 中 'value' 生活指数预报信息的更新时间。代码实例如下：
zs_7d_update_time = id_7d_conent.find(id='zs_7d_update_time')['value']
print(zs_7d_update_time)9、解析生活指数信息函数
分析forecast_text的内容，我们发现，共有6种指数，分别为：感冒指数、运动指数、过敏指数、穿衣指数、洗车指数、紫外线指数，而且每种指数有三行内容。
为了解析指数内容，我编写了如下函数，lines：就是forecast_text每行的内容，index：取值，感冒指数、运动指数、过敏指数、穿衣指数、洗车指数、紫外线指数6种中的其中一种。返回值为index的7天的指数预报。
def get_index(lines,index):
index_str = '';
for i in range(len(lines)):
if lines[i]==index:
index_str = index_str + lines[i-1]+' '+ lines[i]+' '+lines[i+1]+'\n'
return index_str10.调用函数解析获得生活指数
调用函数get_index，并打印出来。
# 提取生活指数
print(get_index(lines,"感冒指数"))
print(get_index(lines,"运动指数"))
print(get_index(lines,"过敏指数"))
print(get_index(lines,"穿衣指数"))
print(get_index(lines,"洗车指数"))
print(get_index(lines,"紫外线指数"))运行结果如下：
看到结果，是不是很兴奋。网络爬虫，也没有想象中的那么高大上，那么高深的理论。希望本教程，给粉丝一个完整的爬虫的思路，对学习有所裨益。
最后，由于平台规则，只有当您跟我有更多互动的时候，才会被认定为铁粉。如果您喜欢我的文章，可以点个“关注”，成为铁粉后能第一时间收到文章推送。