# 导入包
import requests
import numpy as np
import pandas as pd
import re 
import time
import json
from faker import Factory


def get_weibo_comment(ids, mid, max_page, max_id=0, max_id_type=0):
    """
    功能：获取指定微博的评论数据，数据接口由chrome切换到手机端抓包获取。
    注意事项：此程序每次获取的数量有限制，每次获取之后隔5分钟再抓取即可
    """
    max_id = max_id
    max_id_type = max_id_type

    # 存储数据
    df_all = pd.DataFrame()

    for i in range(1, max_page):
        # 打印进度
        print('我正在获取第{}页的评论信息'.format(i))

        # 获取URL
        url = 'https://m.weibo.cn/comments/hotflow?id={}&mid={}&max_id={}&max_id_type={}'.format(ids, mid, max_id, max_id_type)

        # 添加headers



    
        headers = {
            'User-Agent': Factory().create().user_agent(),
            'Referer': 'https://m.weibo.cn/detail/1591254045309',
            'cookie': '复制cookie信息',
            'X-Requested-With': 'XMLHttpRequest',
        }

        # 发起请求
        try:
            r = requests.get(url, headers=headers, timeout=3)
        except Exception as e:
            print(e)
            r = requests.get(url, headers=headers, timeout=3)

        if r.status_code==200:
            # 解析数据
            json_data = json.loads(r.text)

            # 获取数据
            comment_data = json_data['data']['data']

            created_time = [i.get('created_at') for i in comment_data]
            text = [i.get('text') for i in comment_data]
            user_id = [i['user'].get('id') for i in comment_data]
            screen_name = [i['user'].get('screen_name') for i in comment_data]
            reply_num = [i.get('total_number') for i in comment_data]
            like_count = [i.get('like_count') for i in comment_data]

            # max_id
            max_id = json_data['data']['max_id']
            # max_id_type
            max_id_type = json_data['data']['max_id_type']

            # 存储数据
            df_one = pd.DataFrame({
                'created_time': created_time,
                'text': text,
                'user_id': user_id,
                'screen_name': screen_name,
                'reply_num': reply_num,
                'like_count': like_count
            })

            # 追加
            df_all = df_all.append(df_one, ignore_index=True)




    
            # 休眠一秒
            time.sleep(np.random.uniform(2))

        else:
            print('解析出错！打印最后一次的值', max_id, max_id_type)
            continue

    return df_all

# 运行函数
if __name__ == '__main__':
    # 获取一条微博评论
    df = get_weibo_comment(ids='4511703964943057', mid='4511703964943057', max_page=200)

📚推荐阅读 READ MORE