社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Python

EDG夺冠,用Python分析粉丝:都炸锅了!

数据科学杂谈 • 3 年前 • 442 次点击  
在英雄联盟S11总决赛中,中国LPL赛区战队EDG3∶2战胜韩国LCK赛区战队DK,获得2021年英雄联盟全球总决赛冠军。
整个比赛过程深受全网关注:
  • 微博热搜第一名,显示有8194万观看;
  • bilibili平台,吸引3.5亿人气,满屏弹幕;
  • 腾讯视频600万人看过;
  • 斗鱼和虎牙平台的热度也是居高不下;
  • 赛后,央视新闻也发微博祝贺EDG战队夺冠;

既然比赛热度这么高,那大家都说了点啥?

我们用Python分析了31000条弹幕数据,满屏都是粉丝的祝福与感受。

我们先来分析网页,找到弹幕数据所在地方。

点击F12,先打开开发者工具,按照图中提示,完成1-5处的操作。

拼接url,得到最终的url。

url = 'https://api.bilibili.com/x/player/pagelist?bvid=BV1EP4y1j7kV&jsonp=jsonp'
res = requests.get(url).text
json_dict = json.loads(res)
#pprint(json_dict)

for i in json_dict["data"]:
    oid = i["cid"]
    api = "https://api.bilibili.com/x/v1/dm/list.so?oid="
    url = api + str(oid)
    print(url)
一共有7个网址,分别对应7个视频里面的弹幕数据随便点开一个查看:

有了完整的url后,我们要做的就是提取里面的数据,这里还是直接采用正则表达式,并最终写入txt文档。
final_url =  "https://api.bilibili.com/x/v1/dm/list.so?oid=437729555"
final_res = requests.get(final_url)
final_res.encoding = chardet.detect(final_res.content)['encoding']
final_res = final_res.text
pattern = re.compile('(.*?)')
data = pattern.findall(final_res)

with open("弹幕.txt", mode="w", encoding="utf-8"as f:
    for i in data:
        f.write(i)
        f.write("\n")
结果如下:

文中详细代码字体文件停用词文件 ,如图所示,大家可以扫码获取。

扫码添加助教老师
免费领取本文代码+资料

另外,我还为对数据分析感兴趣的朋友们争取到一个福利现在你可以报名《3天数据分析训练营》,免费学习Python数据分析课程,还可以领取内部数据分析资料包!


课程内容

11月9日 20:00&数据可视化入门:
五个关键步骤 快速实现酷炫可视化

流程解析:5个关键步骤,掌握核心方法

过程处理:2个关键工具,提升工作效率

实战项目:二手车网站数据爬取+可视化


11月10日 20:00&数据可视化进阶
四个案例 实现交互式可视化报表

入门级图表:用Python快速实现

进阶交互图:股票价格趋势

地图效果图:销售数据汇总

动态趋势图:电商直播数据


11月11日 20:00&数据分析应用:
90分钟  掌握时序数据下的趋势分析
工具:用Python进行数据可视化
分析:基于数据模型的推测+预演
实操:全球新冠疫情发展趋势分析


添加微信即可免费报名课程

(扫码添加助教老师,了解课程详情)

添加后即可领取更多资料包

(资料仅展示部分)

课程简介

《3天数据分析训练营》,由技术大牛亲授,手把手带你学习数据分析、数据可视化和Python入门,并通过现场实操多个实战项目,从入门到进阶,让你快速上手,get新技能!

作者有话说

最痛苦的事情,莫过于学习过程遇到一些环境配置出问题,或者一些错误异常等bug,连搜索解决问题的关键字都不知道怎么填的时候,那么找一个老师,讲解讲解就会相对容易很多了。


或者还有一些同学,限于工作或者学习中,需要用到一些数据分析的内容,但是不知道如何入手,想快速入门了解据分析领域中知识,也不妨先找一找直播课看看,了解当下最贴合实际的学习思路,确定自己的方向。


本次训练营的授课老师——C9高校数据科学特邀讲师王冕老师他曾任一线互联网公司的数据架构工程师,线上线下累积15年教学经验,授课经验丰富。


他还拥有50多项国内外各大高校和互联网行业巨头颁发的数据分析、大数据和机器学习相关证书!

 

(微软/Cloudera/加州大学等各大机构颁发的相关证书)


课程方面,老师每天都会耐心地直播答疑!还有大厂实战案例助你提升视野,内容涵盖Python入门、数据可视化、数据分析,迅速提升你的专业能力,让你少走弯路,真正实现从入门到提升!


扫码添加助教老师
免费领取课程+内部资料包
(资料包限量200名,手慢无)


不要因为一点点小顾虑

就让惰性占上风

错过了一次难得的学习机会!

赶快扫码添加吧!

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/122696
 
442 次点击