如何科学地蹭热点：用python爬虫获取热门微博评论并进行情感分析

大数据挖掘DT数据分析公众号： datadw

甩锅の声明
1.本数据节选自新浪热门微博评论，不代表本人任何观点
2.本人不接受任何非技术交流类批评指责(夸我可以)
3.本次分析结果因技术问题存在一定误差(是引入的包的问题，不是我的)
4.本次选取热门微博为半个月以前的(翻译一下：热点已经冷了，我只是个写教程的)
4.顶锅盖逃

本文代码github地址：

回复 datadw 公众号关键词“新浪API”获取。

继上次更完“国庆去哪儿”文之后，被好多编程相关的公众号翻了牌子_(:зゝ∠)_，让我过了一把v的瘾，也让我更加努力的想要装(消音)。

在我埋头学习mysql、scrapy、django准备下一波吹水的时候，python交友群里有个人说，你去爬下老薛的微博呀，还能蹭个热点，这让勤(mo)奋(mo)学(kou)习(jiao)的我停下了寄几敲代码的手。

然后我赶紧去关注了一下最近老薛的新闻…在感受了剧情的复杂和案情的扑朔迷离之后…我默默地学习了如何阅读合同…如何利用ELA分析图片…如何写作文…如何查别人的银行流水…知识点有点多…让我缓一会…

所以呢，这次的主题是分析老薛最新微博的评论，分析评论粉丝们的心情状态，且听我娓娓道来。

1.新浪微博API

在经历了几次爬虫被禁的悲痛(真的很痛)之后，我学会了在爬网站之前先查有没有API的“优良”习惯。新浪作为一个大厂，怎么会不推出新浪微博API呢，面向开发者新浪有自己的开放平台http://open.weibo.com/，这里是python调用微博API的方法http://blog.csdn.net/gamer_gyt/article/details/51839159，下面是通过登录App_key和App_secret方式访问微博API的代码，代码是基于py2的。py3对weibo模块使用存在一定问题。

知道如何登录API了，辣么如何调用API爬单条微博的评论呢？一行代码搞定。

r = client.comments.show.get(id = 4154417035431509,count = 200,
page = 1)

所有关于单条微博的评论信息都在r.comments中了，这里需要对照微博API文档，

http://open.weibo.com/wiki/%E5%BE%AE%E5%8D%9AAPI

微博API有声明调用微博评论API需要获取用户授权，但是捏，只要知道单条微博的id，就可以调用这个API了，关于单条微博的id如何获取在后面会说(小声一点，千万别让微博知道，万一封了呢)。

按照client.接口名.get(请求参数)的方式获取API，获取API后的规格可在接口详情中查看，文档中有给出返回结果的示例。

文档中也给出了关键数据的json接口名称。

如果我们要获取微博评论的内容，只需要调用text接口即可。

for 


    
st in r.comments:
    text = st.text

2.微博爬虫

通过调用新浪微博API的方式，我们就可以简单获取单条微博的评论信息了，为啥说简单呢，因为人红信息贵啊！你以为大V的微博就这么免费的给你API调用了吗，非认证应用开发者单日只能请求几千次API，这对像老薛这样单条微博几十万评论的大V来说…太少了(ＴＴ)

所以捏，还是要写微博爬虫。

正所谓，知己知彼百战不殆，新浪作为大厂，怎么说也是身经百战，必定是经历了无数场爬虫与反爬之间的战争，必然有着健全的反爬策略。正所谓，强敌面前，绕道而行，有位大佬说得好，爬网站，先爬移动端：https://m.weibo.cn/

登录微博后，进入到老薛回应P图事件的微博中去，_(:зゝ∠)_老薛啊，怪我，怪我来得太晚了，点进去的时候已经有70w+的评论了(截止至发文当天已经100w+的评论了)，可以看到安静的微博下粉丝们不安的心…

移动端微博的网址显得肥肠简单，不似PC端那么复杂而不明逻辑：https://m.weibo.cn/status/4154417035431509 多点几条微博就可以知道status后面的数字，就是单条微博的id了。

评论里包含了热门评论和最新评论俩种，但无论是哪种评论，继续往下翻网址都不会变化。江湖惯例(不懂江湖惯例的去看我之前的文)，chrome浏览器右键“检查”，观察network变化。

从network的xhr文件中，可以得知热门评论的变化规律是：

'https://m.weibo.cn/single/rcList?format=cards&id=' + 单条微博id + '&

type=comment&hot=1&page=' + 页码

最新评论的变化规律是：

'https://m.weibo.cn/api/comments/show?id=' + 单条微博id + '&page=' + 页码

打开https://m.weibo.cn/single/rcList?format=cards&id=4154417035431509&type=comment&hot=1&page=1 就可以看到热门评论的json文件。

接下来就是套路了，伪装浏览器header，读取json文件，遍历每一页…这都不是重点！而且这些我以前都讲过\~直接上代码~

这里有几点说明：
1.设置爬取间隔时间之后，微博爬虫被禁的概率降低了很多(特别是晚上)
2.新浪每次返回的json数据条数随机，所以翻页之后会出现数据重复的情况，所以用到了数据去重，这会在后面说。
3.在text和source中添加了去除emoji表情的代码(折腾了很久写不进数据库，差点就从删库到跑路了/(ㄒoㄒ)/)，同时也去除了掺杂其中的回复他人的html代码。
4.我只写了读取数据，没有写如何保存，因为我们要用到数！据！库！辣！(这是重点！敲黑板)

3.python中数据库的读取与写入

虽然微博爬虫大大提高了数据获取量，但也因为是爬虫而容易被新浪封禁。这里结束循环的判断是网络状态不是200，但当微博发现是爬虫时，微博会返回一个网页，网页中什么实质内容都木有，这时候程序就会报错，而之前爬到的数据，就啥也没有了。

但是如果爬一会，保存一次数据，这数据量要一大起来…冷冷的文件在脸上胡乱地拍…我的心就像被…这时候我们就需要用到数据库了。

数据库，顾名思义，就是存放数据的仓库，数据库作为一个发展了60多年的管理系统，有着庞大的应用领域和复杂的功能……好了我编不下去了。

在本文中，数据库的主要作用是AI式的excel表格(—)。在爬虫进行的过程中，爬到一个数就存进去，爬到一个数就存进去，即使爬虫程序运行中断，中断前爬到的数据都会存放在数据库中。

大多数数据库都能与python对接使用的，米酱知道的有mysql、sqlite、mongodb、redis。这里用的是mysql，mac上mysql的安装http://www.jianshu.com/p/2d902dd4fff4，管理数据库的软件Navicat使用帮助，http://www.jianshu.com/p/326c1aaa1052 系统自己找吧，安装使用过程中有啥问题，请不要来找我(逃

根据上面的代码，在navicat中创建数据库、表和域以及域的格式。在Python程序中添加代码。

conn =pymysql.connect(host='服务器IP(默认是127.0.0.1)',user='服务器名(默认是root)',password='服务器密码',charset="utf8",use_unicode = False) #连接服务器

cur = conn.cursor()

sql = "insert into xue.xueresponse(comment_id,user_name,created_at,text,likenum,source) values(%s,%s,%s,%s,%s,%s)" #格式是：数据名.表名(域名)

param = (comment_id,user_name,created_at,text,likenum,source)

try:

A = cur.execute(sql,param)

conn.commit()

except Exception as e:

print(e)

conn.rollback()

运行python程序，大概爬了2w条实时评论，新浪微博的反爬还是很强大的，有俩个解决方法：更换IP和切换账号，IP代理的使用方法我以前有写过，账号可以在X宝购买，但是！_(:зゝ∠)_由于本文的作者是一个肥肠贫穷肥肠抠门并且身患重病(懒癌)的人……2w条数据也是有研究价值的对不对(((;꒪ꈊ꒪;)))，不如我们就这样继续我们研究吧(((;꒪ꈊ꒪;)))……

在进行下一步研究之前，我们还要将数据库中的内容读取出来，python中数据库的读取代码也很简单。

conn =pymysql.connect(host='服务器IP',user='用户名',password='密码',charset="utf8") #连接服务器

with conn:

cur = conn.cursor()

cur.execute("SELECT * FROM xue.xueresponse WHERE id < '%d'" % 20000)

rows = cur.fetchall()

这样之前爬取的信息就被读取出来了，但是前面也说了，微博爬虫翻页时返回数据条数随机，所以会出现重复的状况，所以读取之后，需要用if…not in语句进行一个数据去重。

for row in rows:
    row = list(row)    del row[0]    if row not in


    
 commentlist:
        commentlist.append([row[0],row[1],row[2],row[3],row[4],row[5]])

完整代码在文末。

4.自然语言处理NLP

NLP是人工智能的一个领域，可以通过算法的设计让机器理解人类语言，自然语言也属于人工智能中较为困难的一环，像中文这么博大精深、变幻莫测的语言更是NLP中的一大难点，python中有很多NLP相关的模块，有兴趣的盆友可以通过用python实现简单的文本情感分析

https://zhuanlan.zhihu.com/p/23225934

初探NLP。

我参(ban)考(yun)了一些现成的情感分析算法，对爬取的评论进行分析，错误率肥肠高_(:зゝ∠)_，这可肿么办？难道要重新设计算法？米酱仿佛遇到了人生中第一个因为语文没学好而引发的重大问题……

当然像米酱这样灵(lan)活(duo)的姑娘，自然是很快发现了python中较为出名的一个中文NLP库：snowNLP。snowNLP调用的方法比较简单，源码中详细解释了调用方法，和生成结果。

def snowanalysis(textlist):
    sentimentslist = []    for li in textlist:
        s = SnowNLP(li)
        print(li)
        print(s.sentiments)
        sentimentslist.append(s.sentiments)

这段代码中获取了读取数据库后由评论主体text生成的列表文件，并依次对每一个评论进行情感值分析。snowNLP能够根据给出的句子生成一个0-1之间的值，当值大于0.5时代表句子的情感极性偏向积极，当分值小于0.5时，情感极性偏向消极，当然越偏向俩头，情绪越明显咯，让我们来看看测试评论的结果。

第一条:恶心呸给出了0.01的分值，最后一条:力挺薛之谦给出了0.99的分值。看其他几句基本符合语境的态度，当需要评测单个商品的评价态度时就可以使用snowNLP。但是由于老薛的评论中涉及到三个人，他自己，李雨桐，高磊鑫，算法无法判断评论是关于谁的情感值，又因为微博评论可以粉丝之间互相回复，这让判断评论的主体是谁更加扑朔迷离(机器表示我学习不能啊…)。

这好像代表了，本次分析的结果将…并没有什么卵用。发生这种事情，米酱也不想的…做人呢…最重要的是要开心…米酱不会写算法啊，米酱语文也不好啊，米酱真的做不到啊(๑°⌓°๑)…

5.分析结果

本次分析的目的愉快的从分析粉丝们对待薛之谦事件的情绪变成了单纯分析粉丝们的情绪(—)。

plt.hist(sentimentslist,bins=np.arange(0,1,0.02))
plt.show()

对上节经过处理得到的情感值列表进行统计，并生成分布图。下图数据采集时间9月27日19时，采集评论2w条。

我还顺便(真的是顺便，正经脸)爬了李雨桐将网友转账捐款的微博的2w条评论。

我又顺顺便(真的顺便，看我真诚的眼神)爬了陈赫出轨时发表我错了博文的微博评论。

根据这三张图，可以看到情感值在接近0、1两端以及0.5左右位置频率较高，说明粉丝们对于此类事件的情绪无论是积极还是消极都是比较明显的。但也可以从图片中看到一些微妙的差别，老薛的微博中情感值接近1的数量高于接近0的数量，但都没有超过700，李雨桐微博中情感值接近1的数量远低于接近0的数量，甚至接近0的数目到达了1000以上，但二者都超过了700，而陈赫的微博分析结果，俩者则都接近800。由于算法存在一定误差，不代表真实评论结果，我就不再多分析了(你们懂的)。