说在前面 天气预报我们每天都会关注，我们可以根据未来的天气增减衣物、安排出行，每天的气温、风速风向、相对湿度、空气质量等成为关注的焦点。
本次使用python中requests和BeautifulSoup库对中国天气网当天和未来14天的数据进行爬取，保存为csv文件，之后用matplotlib、numpy、pandas对数据进行可视化处理和分析，得到温湿度度变化曲线、空气质量图、风向雷达图等结果，为获得未来天气信息提供了有效方法。
1.数据获取 请求网站链接 首先查看中国天气网的网址：http://www.weather.com.cn/weather/101280701.shtml这里就访问本地的天气网址，如果想爬取不同的地区只需修改最后的101280701地区编号即可，前面的weather代表是7天的网页，weather1d代表当天，weather15d代表未来14天。
这里就主要访问7天和14天的中国天气网。采用requests.get()方法，请求网页，如果成功访问，则得到的是网页的所有字符串文本。这就是请求过程。
def getHTMLtext(url): "" "请求获得网页内容" "" print ("成功访问" ) return r.text print ("访问错误" ) return " " 提取有用信息 这里采用BeautifulSoup库对刚刚获取的字符串进行数据提取，首先对网页进行检查，找到需要获取数据的标签：
可以发现7天的数据信息在div标签中并且id=“7d”，并且日期、天气、温度、风级等信息都在ul和li标签中，所以我们可以使用BeautifulSoup对获取的网页文本进行查找div标签id=“7d”，找出他包含的所有的ul和li标签，之后提取标签中相应的数据值，保存到对应列表中。 这里要注意一个细节就是有时日期没有最高气温，对于没有数据的情况要进行判断和处理。另外对于一些数据保存的格式也要提前进行处理，比如温度后面的摄氏度符号，日期数字的提取，和风级文字的提取，这需要用到字符查找及字符串切片处理。
def get_content(html):"" "处理得到有用信息保存数据文件" "" # 初始化一个列表保存数据 "html.parser" ) # 创建BeautifulSoup对象 'div' , {'id' : '7d' }) # 找到div标签且id = 7d 下面爬取当天的数据
data2 = body.find_all('div' ,{'class' :'left-div' })'script' ).string '=' )+1 :-2] # 移除改var data=将其变为json数据 'od' ]['od2' ] # 找到当天的数据 # 存放当天的数据 for i in dayone:if count <=23:'od21' ]) # 添加时间 'od22' ]) # 添加当前时刻温度 'od24' ]) # 添加当前时刻风力方向 'od25' ]) # 添加当前时刻风级 'od26' ]) # 添加当前时刻降水量 'od27' ]) # 添加当前时刻相对湿度 'od28' ]) # 添加当前时刻控制质量 #print(temp) 下面爬取7天的数据
ul = data.find('ul' ) # 找到所有的ul标签 'li' ) # 找到左右的li标签 # 控制爬取的天数 for day in li: # 遍历找到的每一个li if i 0:# 临时存放每天的数据 'h1' ).string # 得到日期 '日' )] # 取出日期号 'p' ) # 找出li下面的p标签,提取第一个p标签的值，即天气 'i' ).string # 找到最低气温 if inf[1].find('span' ) is None: # 天气预报可能没有最高气温 else : 'span' ).string # 找到最高气温 if tem_high[-1] == '℃' : else : 'span' ) # 找到风向 for j in wind: 'title' ]) 'i' ).string # 找到风级 '级' ) return final_day,final同样对于/weather15d：15天的信息，也做同样的处理，这里经过查看后发现他的15天网页中只有8-14天，前面的1-7天在/weather中，这里就分别访问两个网页将爬取得到的数据进行合并得到最终14天的数据。
前面是未来14天的数据爬取过程，对于当天24小时的天气信息数据，经过查找发现他是一个json数据，可以通过json.loads() - 方法获取当天的数据，进而对当天的天气信息进行提取。
保存csv文件 前面将爬取的数据添加到列表中，这里引入csv库，利用f_csv.writerow(header)和f_csv.writerows(data)方法，分别写入表头和每一行的数据，这里将1天和未来14天的数据分开存储，分别保存为weather1.csv和weather14.csv，下面是他们保存的表格图：
2.可视化分析 当天温度变化曲线图 采用matplotlib中plt.plot()方法绘制出一天24小时的温度变化曲线，并用plt.text()方法点出最高温和最低温，并画出平均温度线，下图为温度变化曲线图：(代码见附录)
分析可以发现这一天最高温度为33℃，最低温度为28℃，并且平均温度在20.4℃左右，通过对时间分析，发现昼夜温差5℃，低温分布在凌晨，高温分布在中午到下午的时间段。 当天相对湿度变化曲线图 采用matplotlib中plt.plot()方法绘制出一天24小时的湿度变化曲线，并画出平均相对湿度线，下图为湿度变化曲线图：(代码见附录)
分析可以发现这一天最高相对湿度为86%，最低相对湿度为58℃，并且平均相对湿度在75%左右，通过对时间分析，清晨的湿度比较大，而下午至黄昏湿度较小。 温湿度相关性分析图 经过前面两个图的分析我们可以感觉到温度和湿度之间是有关系的，为了更加清楚直观地感受这种关系，使用plt.scatter()方法将温度为横坐标、湿度为纵坐标，每个时刻的点在图中点出来，并且计算相关系数，下图为结果图：
分析可以发现一天的温度和湿度具有强烈的相关性，他们呈负相关，这就说明他们时间是负相关关系，并且进一步分析，当温度较低时，空气中水分含量较多，湿度自然较高，而温度较高时，水分蒸发，空气就比较干燥，湿度较低，符合平时气候现象。 空气质量指数柱状图 空气质量指数AQI是定量描述空气质量状况的指数，其数值越大说明空气污染状况越重，对人体健康的危害也就越大。
一般将空气质量指数分为6个等级，等级越高说明污染越严重，下面使用plt.bar方法对一天24小时的空气质量进行了柱状图绘制，并且根据6个等级的不同，相应的柱状图的颜色也从浅到深，也表明污染逐步加重，更直观的显示污染情况，并且也将最高和最低的空气质量指数标出，用虚线画出平均的空气质量指数，下图是绘制结果图：
上面这张是南方珠海的控制质量图，可以看出空气质量指数最大也是在健康范围，说明珠海空气非常好，分析可以发现这一天最高空气质量指数达到了35，最低则只有14，并且平均在25左右，通过时间也可以发现，基本在清晨的时候是空气最好的时候（4-9点），在下午是空气污染最严重的时候，所以清晨一般可以去外面呼吸新鲜的空气，那时污染最小。 而下面这个空气质量图是选取的北方的一个城市，可以看到这里的环境远远比不上珠海。
风向风级雷达图 统计一天的风力和风向，由于风力风向使用极坐标的方式展现较好，所以这里采用的是极坐标的方式展现一天的风力风向图，将圆分为8份，每一份代表一个风向，半径代表平均风力，并且随着风级增高，蓝色加深，最后结果如下所示：
分析可以发现这一天西南风最多，平均风级达到了1.75级，东北风也有小部分1.0级，其余空白方向无来风。 未来14天高低温变化曲线图 统计未来14天的高低温度变化，并绘制出他们的变化曲线图，分别用虚线将他们的平均气温线绘制出来，最后结果如下所示：
分析可以发现未来14天高温平均气温为30.5℃，温度还是比较高，但是未来的第8天有降温，需要做好降温准备，低温前面处于平稳趋势，等到第8天开始下降，伴随着高温也下降，整体温度下降，低温平均在27℃左右。 未来14天风向风级雷达图 统计未来14天的风向和平均风力，并和前面一样采用极坐标形式，将圆周分为8个部分，代表8个方向，颜色越深代表风级越高，最后结果如下所示：
分析可以发现未来14天东南风、西南风所占主要风向，风级最高达到了5级，最低的西风平均风级也有3级。 未来14天气候分布饼图 统计未来14天的气候，并求每个气候的总天数，最后将各个气候的饼图绘制出来，结果如下所示：
分析可以发现未来14天气候基本是“雨”、“阴转雨”和“阵雨”，下雨的天数较多,结合前面的气温分布图可以看出在第8-9天气温高温下降，可以推测当天下雨，导致气温下降。 3.结论 首先根据爬取的温湿度数据进行的分析，温度从早上低到中午高再到晚上低，湿度和温度的趋势相反，通过相关系数发现温度和湿度有强烈的负相关关系，经查阅资料发现因为随着温度升高水蒸汽蒸发加剧，空气中水分降低湿度降低。当然，湿度同时受气压和雨水的影响，下雨湿度会明显增高。
经查阅资料空气质量不仅跟工厂、汽车等排放的烟气、废气等有关，更为重要的是与气象因素有关。由于昼夜温差明显变化，当地面温度高于高空温度时，空气上升，污染物易被带到高空扩散；当地面温度低于一定高度的温度时，天空形成逆温层，它像一个大盖子一样压在地面上空，使地表空气中各种污染物不易扩散。一般在晚间和清晨影响较大，而当太阳出来后，地面迅速升温，逆温层就会逐渐消散，于是污染空气也就扩散了。
天气是指某一个地区距离地表较近的大气层在短时间内的具体状态。跟某瞬时内大气中各种气象要素分布的综合表现。根据未来14天的天气和温度变化可以大致推断出某个时间的气候，天气和温度之间也是有联系的，
4.代码框架 代码主要分为weather.py：对中国天气网进行爬取天气数据并保存csv文件；data1_analysis.py：对当天的天气信息进行可视化处理；data14_analysis.py：对未来14天的天气信息进行可视化处理。下面是代码的结构图：
附源代码 weather.py# weather.py "" "请求获得网页内容" "" print ("成功访问" ) return r.text print ("访问错误" ) return " " "" "处理得到有用信息保存数据文件" "" # 初始化一个列表保存数据 "html.parser" ) # 创建BeautifulSoup对象 'div' , {'id' : '7d' }) # 找到div标签且id = 7d # 下面爬取当天的数据 'div' ,{'class' :'left-div' }) 'script' ).string '=' )+1 :-2] # 移除改var data=将其变为json数据 'od' ]['od2' ] # 找到当天的数据 # 存放当天的数据 for i in dayone: if count <=23: 'od21' ]) # 添加时间 'od22' ]) # 添加当前时刻温度 'od24' ]) # 添加当前时刻风力方向 'od25' ]) # 添加当前时刻风级 'od26' ]) # 添加当前时刻降水量 'od27' ]) # 添加当前时刻相对湿度 'od28' ]) # 添加当前时刻控制质量 #print(temp) # 下面爬取7天的数据 'ul' ) # 找到所有的ul标签 'li' ) # 找到左右的li标签 # 控制爬取的天数 for day in li: # 遍历找到的每一个li if i 0: # 临时存放每天的数据 'h1' ).string # 得到日期 '日' )] # 取出日期号 'p' ) # 找出li下面的p标签,提取第一个p标签的值，即天气 'i' ).string # 找到最低气温 if inf[1].find('span' ) is None: # 天气预报可能没有最高气温 else : 'span' ).string # 找到最高气温 if tem_high[-1] == '℃' :
: 'span' ) # 找到风向 for j in wind: 'title' ]) 'i' ).string # 找到风级 '级' ) return final_day,final #print(final) "" "处理得到有用信息保存数据文件" "" # 初始化一个列表保存数据 "html.parser" ) # 创建BeautifulSoup对象 'div' , {'id' : '15d' }) # 找到div标签且id = 15d 'ul' ) # 找到所有的ul标签 'li' ) # 找到左右的li标签 # 控制爬取的天数 for day in li: # 遍历找到的每一个li if i temp = [] # 临时存放每天的数据 'span' ,{'class' :'time' }).string # 得到日期 '（' )+1:-2] # 取出日期号 'span' ,{'class' :'wea' }).string # 找到天气 'span' ,{'class' :'tem' }).text # 找到温度 '/' )+1:-1]) # 找到最低气温 '/' )-1]) # 找到最高气温 'span' ,{'class' :'wind' }).string # 找到风向 if '转' in wind: # 如果有风向变化 '转' )]) '转' )+1:]) else : # 如果没有风向变化，前后风向一致 'span' ,{'class' :'wind1' }).string # 找到风级 '级' ) return final "" "保存为csv文件" "" 'a' , errors='ignore' , newline='' ) as f: if day == 14: '日期' ,'天气' ,'最低气温' ,'最高气温' ,'风向1' ,'风向2' ,'风级' ] else : '小时' ,'温度' ,'风力方向' ,'风级' ,'降水量' ,'相对湿度' ,'空气质量' ] "" "主函数" "" print ("Weather test" ) # 珠海 'http://www.weather.com.cn/weather/101280701.shtml' # 7天天气中国天气网 'http://www.weather.com.cn/weather15d/101280701.shtml' # 8-15天天气中国天气网 # 获得1-7天和当天的数据 # 获得8-14天数据 #print(data) 'weather14.csv' ,data14,14) # 保存为csv文件 'weather1.csv' ,data1,1) if __name__ == '__main__' : # data1_analysis.py "" "温度曲线绘制" ""
]) '温度' ]) for i in range(0,24): if math.isnan(tem[i]) == True: # 求平均温度 # 求最高温度 # 求最低温度 for i in range(0, 24): 'red' ,label='温度' ) # 画出温度曲线 'red' ) # 点出每个时刻的温度点 'blue' , linestyle='--' ,label='平均温度' ) # 画出平均温度虚线 'center' , va='bottom' , fontsize=10.5) # 标出最高温度 'center' , va='bottom' , fontsize=10.5) # 标出最低温度 '一天温度变化曲线图' ) '时间/h' ) '摄氏度/℃' ) "" "相对湿度曲线绘制" "" '小时' ]) '相对湿度' ]) for i in range(0,24): if math.isnan(hum[i]) == True: # 求平均相对湿度 # 求最高相对湿度 # 求最低相对湿度 for i in range(0, 24): 'blue' ,label='相对湿度' ) # 画出相对湿度曲线 'blue' ) # 点出每个时刻的相对湿度 'red' , linestyle='--' ,label='平均相对湿度' ) # 画出平均相对湿度虚线 'center' , va='bottom' , fontsize=10.5) # 标出最高相对湿度 'center' , va='bottom' , fontsize=10.5) # 标出最低相对湿度 '一天相对湿度变化曲线图' ) '时间/h' ) '百分比/%' ) "" "空气质量曲线绘制" "" '小时' ]) '空气质量' ]) print (type (air[0])) for i in range(0,24): if math.isnan(air[i]) == True: # 求平均空气质量 # 求最高空气质量 # 求最低空气质量 for i in range(0, 24): for i in range(0,24): if y[i] <= 50: 'lightgreen' ,width=0.7) # 1等级 elif y[i] <= 100: 'wheat' ,width=0.7) # 2等级 elif y[i] <= 150: 'orange' ,width=0.7) # 3等级 elif y[i] <= 200: 'orangered' ,width=0.7) # 4等级 elif y[i] <= 300: 'darkviolet' ,width=0.7) # 5等级 elif y[i] > 300: 'maroon' ,width=0.7) # 6等级 'black' , linestyle='--' ) # 画出平均空气质量虚线 'center' , va='bottom' , fontsize=10.5) # 标出最高空气质量 'center' , va='bottom' , fontsize=10.5) # 标出最低空气质量 '一天空气质量变化曲线图' ) '时间/h' )
) "" "风向雷达图" "" '风力方向' ]) '风级' ]) for i in range(0,24): if wind[i] == "北风" : elif wind[i] == "南风" : elif wind[i] == "西风" : elif wind[i] == "东风" : elif wind[i] == "东北风" : elif wind[i] == "西北风" : elif wind[i] == "西南风" : elif wind[i] == "东南风" : for deg in degs: # 获取 wind_deg 在指定范围的风速平均值数据 for i in range(0,24): if wind[i] == deg: if len(speed) == 0: else : print (temp) # 数据极径 # 绘制极区图坐标系 # 定义每个扇区的RGB值（R,G,B），x越大，对应的颜色越接近蓝色 for x in radii] '一天风级图' ,x=0.2,fontsize=20) "" "计算相关系数" "" for x,y in zip(a, b)]) for x in a])*sum([(x - b_avg)**2 for x in b])) return corr_factor "" "温湿度相关性分析" "" '温度' ] '相对湿度' ] 'blue' ) "温湿度相关性分析图" ) "温度/℃" ) "相对湿度/%" ) "相关系数为：" +str(calc_corr(tem,hum)),fontdict={'size' :'10' ,'color' :'red' }) print ("相关系数为：" +str(calc_corr(tem,hum))) 'font.sans-serif' ]=['SimHei' ] # 解决中文显示问题 'axes.unicode_minus' ] = False # 解决负号显示问题 'weather1.csv' ,encoding='gb2312' ) print (data1) if __name__ == '__main__' : # data14_analysis.py "" "温度曲线绘制" "" '日期' ]) '最低气温' ]) '最高气温' ]) for i in range(0,14): if math.isnan(tem_low[i]) == True: if math.isnan(tem_high[i]) == True: # 求平均高温 # 求平均低温 # 求最高温度 # 求最低温度 'red' ,label='高温' ) # 画出高温度曲线 'red' ) # 点出每个时刻的温度点 'blue' ,label='低温' ) # 画出低温度曲线 'blue' ) # 点出每个时刻的温度点 'black' , linestyle='--' ) # 画出平均温度虚线 'black' , linestyle='--' ) # 画出平均温度虚线 'center' , va='bottom'
# 标出最高温度 'center' , va='bottom' , fontsize=10.5) # 标出最低温度 '未来14天高温低温变化曲线图' ) '未来天数/天' ) '摄氏度/℃' ) "" "改变风向" "" for i in range(0,14): if wind[i] == "北风" : elif wind[i] == "南风" : elif wind[i] == "西风" : elif wind[i] == "东风" : elif wind[i] == "东北风" : elif wind[i] == "西北风" : elif wind[i] == "西南风" : elif wind[i] == "东南风" : return wind "" "风向雷达图" "" '风向1' ]) '风向2' ]) '风级' ]) for deg in degs: # 获取 wind_deg 在指定范围的风速平均值数据 for i in range(0,14): if wind1[i] == deg: if wind2[i] == deg: if len(speed) == 0: else : print (temp) # 数据极径 # 绘制极区图坐标系 # 定义每个扇区的RGB值（R,G,B），x越大，对应的颜色越接近蓝色 for x in radii] '未来14天风级图' ,x=0.2,fontsize=20) "" "绘制天气饼图" "" '天气' ]) for i in range(0,14): if weather[i] in dic_wea.keys(): else : print (dic_wea) 'lightskyblue' ,'silver' ,'yellow' ,'salmon' ,'grey' ,'lime' ,'gold' ,'red' ,'green' ,'pink' ] '%1.1f%%' ,colors=color) '未来14天气候分布饼图' ) 'font.sans-serif' ]=['SimHei' ] # 解决中文显示问题 'axes.unicode_minus' ] = False # 解决负号显示问题 'weather14.csv' ,encoding='gb2312' ) print (data14) if __name__ == '__main__' : 
