Python爬取15万条《我是余欢水》弹幕，还原一个丧到极致的中年人生

作者：Mika

数据：真达  

后期：泽龙 

Show me data，用数据说话

今天我们聊聊 《我是余欢水》

点击下方视频，先睹为快：

# 导入所需库
import requests
import json
import time
import parsel
import pandas as pd

def get_danmu_one_page(url_dm):
    """
    :param url_dm: 视频弹幕URL地址
    :return: 一页的弹幕数据
    """
    # 添加headers
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36',
        'cookie': '你的电脑登录后的cookie信息',
        'referer': 'https://v.qq.com/x/cover/mzc00200bll9mha.html',
    }

    # 发起请求
    try:
        r = requests.get(url_dm, headers=headers, timeout=3)
    except Exception as e:
        time.sleep(3)
        r = requests.get(url_dm, headers=headers, timeout=3)

    # 解析网页
    data = r.json()['comments']

    # 获取评论ID
    comment_id = [i['commentid'] for i in data]
    # 获取用户名
    oper_name = [i['opername'] for i in data]
    # 获取会员等级
    vip_degree = [i['uservip_degree'] for i in data]
    # 获取评论内容
    content = [i['content'] for i in data]
    # 获取评论时间点
    time_point = [i['timepoint'] for


    
 i in data]
    # 获取评论点赞
    up_count = [i['upcount'] for i in data]

    # 存储数据
    df_one = pd.DataFrame({
        'comment_id': comment_id,
        'oper_name': oper_name,
        'vip_degree': vip_degree,
        'content': content,
        'time_point': time_point,
        'up_count': up_count
    })
    return df_one


def get_danmu_all_page(target_id, vid):
    """
    :param target_id: target_id
    :param vid: vid
    :return: 所有页弹幕
    """
    df_all = pd.DataFrame()
    # 记录步数
    step = 1
    for time_stamp in range(15, 100000, 30):  # 右侧设置一个足够大的数
        try:  # 异常处理
            # 构建URL
            url_dm = 'https://mfm.video.qq.com/danmu?target_id={}&vid={}&timestamp={}'.format(target_id, vid, time_stamp)
            # 调用函数
            df = get_danmu_one_page(url_dm)
            # 终止条件
            if df.shape[0] == 0:
                break
            else:
                df_all = df_all.append(df, ignore_index=True)
                # 打印进度
                print('我正在获取第{}页的信息'.format(step))
                step += 1
                # 休眠一秒
                time.sleep(1)
        except Exception as e:
            continue

    return df_all

（点击下方图片阅读）