Py学习  »  Python

Python 分析天气,告诉你中秋应该去哪里

Python网络爬虫与数据挖掘 • 4 年前 • 279 次点击  

假期出游,除了人的因素外,天气的因素是不是也要考虑下呢?今天,以前段时间的中秋小长假为例,带大家分析出游天气。


获取数据


数据的获取,就从中国天气网站上直接抓取,网络上的一些 API,有的信息不是很全,只能获取最近3天的数据,有的又需要付费,还不如自己抓来的痛快。


网站也没有做什么限制,我们抓数据的时候,只需要控制好访问频率,不要影响人家的正常运行就可以。


同时还需要准备四个数据文件


 省会城市列表,provincial_capital

✔ 全国城市 id 信息表,china-city-list.csv

 著名景点名称列表,attractions

 全国景点 id 信息表,china-scenic-list.txt


抓取的过程不再详细说明了,直接给出完整代码


# coding = utf-8"""@author: zhou@time:2019/9/5 14:36@File: main.py"""
import requestsfrom bs4 import BeautifulSoupimport timeimport os
def get_data(name, city, code): print("正在下载城市%s的数据" % city) url = 'http://www.weather.com.cn/weather15d/%s.shtml' % code[2:] res = requests.get(url).content.decode() content = BeautifulSoup(res, "html.parser") weather_list = content.find('ul', attrs={'class': 't clearfix'}).find_all('li') items = map(parse_item, weather_list) save_to_csv(name, city, items) time.sleep(1)
def parse_item(item): time = item.find('span', attrs={'class': 'time'}).text wea = item.find('span', attrs={'class' : 'wea'}).text tem = item.find('span', attrs={'class': 'tem'}).text wind = item.find('span', attrs={'class': 'wind'}).text wind_level = item.find('span', attrs={'class': 'wind1'}).text result = { "time": time, "wea": wea, "tem": tem, "wind": wind, "wind_level": wind_level } return result
def save_to_csv(name, city, data): if not os.path.exists('%s_data.csv' % name): with open('%s_data.csv' % name, 'a+', encoding='utf-8') as f: f.write('city,time,wea,tem,wind,wind_level\n') for d in data: try: row = '{},{},{},{},{},{}'.format(city, d['time'], d['wea'], d['tem'], d['wind'], d['wind_level']) f.write(row) f.write('\n') except: continue else: with open('%s_data.csv' % name, 'a+', encoding='utf-8') as f: for d in data: try: row = '{},{},{},{},{},{}'.format(city, d['time'], d['wea'], d['tem'], d['wind'], d['wind_level']) f.write(row) f.write('\n') except: continue
if __name__ == '__main__': import pandas as pd provincial = pd.read_csv('provincial_capital') china_city_code = pd.read_csv('china-city-list.csv') china_scenic_code = pd.read_csv('china-scenic-list.txt', sep='\t') china_scenic_code.columns = ['ID', 'name', 'area', 'provincial'] attraction = pd.read_csv('attractions') provincial_data = pd.DataFrame() attraction_data = pd.DataFrame()
# 省会抓取 for i in provincial['city'].values.tolist(): for j in china_city_code['City_CN'].values.tolist(): if j == i: provincial_data = pd.concat([china_city_code[china_city_code['City_CN'] == j], provincial_data])
for city in provincial_data['City_CN'].values.tolist(): city_id = provincial_data[provincial_data['City_CN'] == city]['City_ID'].values.tolist()[0] get_data('weather', city, city_id)
# 景点抓取 for a in attraction['attractions'].values.tolist(): for c in china_scenic_code['name'].values.tolist(): if c == a: attraction_data = pd.concat([china_scenic_code[china_scenic_code['name'] == c], attraction_data])
for attrac in attraction_data['name'].values.tolist(): city_id = attraction_data[attraction_data['name'] == attrac]['ID'].values.tolist()[0] get_data('attraction', attrac, city_id)


省会天气分析


我们首先来看看省会天气,毕竟省会城市是每个省份的中心,也是旅游的重点城市。


对于降水的概率,我采取的是如果预报是有雨,则设置降水概率为80,如果是预报是晴,则降水概率为20.


weather_dict = {    "snow": 100,    "rain": 80,    "cloud": 50,    "overcast": 60,    "sun": 20}


中秋节期间,各个省会城市的降水和温度



接下来我们再通过一个双轴图来更加直观的查看下降水和温度的情况


看来在进入9月之后,全国普遍的温度都在慢慢回落了,温度适宜出行,但是就是会伴随着绵绵的细雨呀。


再来看下几大城市在中秋前后一周的天气情况


北京



北京的气温还是比较平稳的,没有太大的波动,可能早晚一件薄外套就能hold的住,不过这几天,应该都会是阴蒙蒙的,不会有太好的阳光。


上海


上海的降水概率要比北京大一些,不过温度倒是相差不多。


杭州


杭州的平均温度还是要高一些,降水的概率也较高,毕竟典型的东南沿海城市嘛,雨天的西湖,你期待不?


成都



成都基本天天下雨了,那还出门看大熊猫嘛,这是个问题啊!


著名景区天气


下面我们再来看看一些著名景区的天气情况,我大好河山,景区太多了,只能简单列举一些最著名的地方来看看了。



在我选取的这些景区当中,大部分都是会有降水的,不过也会有阳光明媚的地方。


我们再来看看各地的温度情况



不知道为啥承德的温度会那么低,感觉去避暑已经不太合适了,而长白山已经只有7°C了,慌不慌?



进入9月,东南沿海降水明显增多,京津地区也是阴雨连绵,这是一场秋雨一场寒的节奏吗!



东南半壁,温度还是比较适宜的,现在的天气下,不冷不热,正是出游好温度。


以上,只是带大家走个流程,即将到来的十一假期,你分析了吗?


看完本文有收获?请转发分享给更多人
学习Python就关注:datanami


近期文章:

搜索神器 EveryThing,你把它的潜力用到极致了吗?

你写的 Python 代码可以更“瘦”

CPU 的一些基本知识总结

14张思维导图,教你构建 Python核心知识体系!




点「在看」的人都变好看了哦!

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/46099
 
279 次点击