数据挖掘入门与实战 公众号： datadw
应用语言学的期末Pre花了差不多一个月零零碎碎的时间完成了。最初的打算爬取网易、新浪、腾讯的国内新闻，再通过提取关键词，比较这三个网站社会新闻报道的内容的倾向性。使用结巴分词进行切分，再统计地名词频，进而数据可视化得出到底哪些地方大新闻比较多。
本来作为一个语言学学生，非常希望从专业的角度分析一下结巴分词的错误案例，于是我爬取了300个新闻标题，并且进行了分类，但是发现……看不懂源码的话，最多说这个是什么成分什么成分的错，但是显然有语感的人都看得出这些分词是错的（摊手）。
但是不管怎么说，也算是一次较为完整的代码实践，打算依次记录下来。
爬虫爬取新浪新闻
#encoding = utf-8
import requests
import json
def getnews(pages):
global newsbag
newsbag = []
for page in range(1, pages + 1):
raw_url = 'http://api.roll.news.sina.com.cn/zt_list?channel=news&cat_1=gnxw&cat_' \
'2==gdxw1||=gatxw||=zs-pl||=mtjj&level==1||=2&show_ext=1&show_all=10&show_num=100' \
'&tag=1&format=json&page={}&callback=newsloadercallback&_=1487824946231'
url = raw_url.format(page)
res = requests.get(url)
jd = json.loads(res.text.lstrip(' newsloadercallback(').rstrip(');'))
diclist = jd['result']['data']
for ent in diclist:
newsbag.append(ent['title'])
continue
return newsbag
pages = int(input("你想查询（返回输入值的100倍）："))
#因为使用的是控制下拉页加载的链接，所以每次都是抓取固定值，我设置的是100，可以通过调节 show_num 自己调整。使用一个数值较大的效率会高点。
getnews(pages)
后来想能够查指定日期的新闻标题，于是把时间戳也爬取了下来，并且做成了时间-标题的元组放到了列表里方便以后使用。修改的逻辑是首先抓取一定量的标题，然后再在这个标题里抓指定日期的新闻。这样就会有两个不便：
我当时是先去查询爬取到的最后一条新闻的时间，然后再扩大爬取的总量，确保能把我要的日期的新闻都框在里面。
改进后的可以按日期查询新闻的代码如下
#encoding = utf-8
import requests
import json
def getnews(pages):
global newsbag
newsbag = []
titlelist = []
timelist=[]
for page in range(1,pages+1):
raw_url = 'http://api.roll.news.sina.com.cn/zt_list?channel=news&cat_1=gnxw&cat_2==gdxw1||=gatxw||=zs-pl||=mtjj&level==1||=2&show_ext=1&show_all=1&show_num=100&tag=1&format=json&page={}&callback=newsloadercallback&_=1487824946231'
url=raw_url.format(page)
res = requests.get(url)
jd = json.loads(res.text.lstrip(' newsloadercallback(').rstrip(');'))
diclist = jd['result']['data']
for ent in diclist:
timestamp =float(ent['createtime'])
newstime = datetime.fromtimestamp(timestamp).strftime('%Y-%m-%d')
timelist.append(newstime)
titlelist.append(ent['title'])
newsbag = zip(timelist,titlelist)
return newsbag
print('新浪国内新闻查询器v2.0，在定量数据范围内查询特定日期的新闻。')
pages=int(input('请输入一共想要查询的页数，仅支持输入正整数，1页显示100条：'))
date = str(input('请输入想查询的日期，格式以2017-04-25为例：'))
getnews(pages)
for i in newsbag:
if i[0] == date:
print(i)
使用结巴分词进行标题的切分
在结巴分词的安装上遇到了一些坑，一开始解压安装包，使用cmd安装一直安装失败，显示的信息是什么也忘记了。后来使用最简单的pip的方法安装好了。
结巴分词是一个优秀的开源项目，虽然后来我得知玻森分词也提供给开发者少量（但处理我的作业绰绰有余）的调用次数时已经完成了数据采集部分的工作了，不然我一定会使用玻森分词的。所以如果调用数量不大，从准确度的角度考虑，还是选用玻森分词比较好。
结巴分词的使用文档写的也很简单，但是简单的另一面是对Python新手不大友好，一开始以为结巴只能输出迭代对象，后来才发现原来也可以输出列表。
使用结巴分词切分新闻标题
# encoding = utf-8
import jieba
def cutseg():
seg_list = []
for i in newsbag:
seg_list = jieba.lcut(i,cut_all=True)+seg_list
return "/".join(seg_list)
print(cutseg())
使用结巴分词后对指定日期的新闻进行切分
结合一下改进过的查询代码后，我们直接使用结巴分词切分日期的标题，这样提高了切分的效率。这样，我们就能得到我们所需要的原始语料了。
#encoding = utf-8
import requests
import json
import jieba
from datetime import datetime
print ('haha')
def getnews(pages):
global newsbag
newsbag = []
titlelist = []
timelist=[]
for page in range(1,pages+1):
raw_url = 'http://api.roll.news.sina.com.cn/zt_list?channel=news&cat_1=gnxw&cat_2==gdxw1||=gatxw||=zs-pl||=mtjj&level==1||=2&show_ext=1&show_all=1&show_num=100&tag=1&format=json&page={}&callback=newsloadercallback&_=1487824946231'
url=raw_url.format(page)
res = requests.get(url)
jd = json.loads(res.text.lstrip(' newsloadercallback(').rstrip(');'))
diclist = jd['result']['data']
for ent in diclist:
timestamp =float(ent['createtime'])
newstime = datetime.fromtimestamp(timestamp).strftime('%Y-%m-%d')
timelist.append(newstime)
titlelist.append(ent['title'])
newsbag = zip(timelist,titlelist)
return newsbag
def cutseg():
title_list = []
for i in timetitle:
title_list = title_list+jieba.lcut(i)
return title_list
print('新浪国内新闻查询器v2.0，在定量数据范围内查询特定日期的新闻。')
pages=int(input('请输入一共想要查询的页数，仅支持输入正整数，1页显示100条：'))
date = str(input('请输入想查询的日期，格式以2017-04-25为例：'))
getnews(pages)
global timetitle
timetitle = []
for i in newsbag:
if i[0] == date:
timetitle.append(i[1])
print(cutseg())
下一篇，我们将使用搜狗细胞词库将新闻标题中的地名挑选出来并且使用pandas进行数据整理！
数据挖掘入门与实战
搜索添加微信公众号：datadw
教你机器学习，教你数据挖掘
长按图片，识别二维码，点关注
公众号： weic2c
据分析入门与实战
长按图片，识别二维码，点关注
