社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Python

Python 爬取朋友圈最新方法!!

Python开发者 • 2 年前 • 363 次点击  

在几年前,互联网上曾经出现过一款生成朋友圈相册的产品。但是它的流程说起来很不互联网:
  • 首先,需要添加指定的微信号,并且给这个微信号查看自己朋友圈的权限;

  • 然后,等待几个小时;

  • 最后,得到一个链接,里面用相册模板显示了自己的朋友圈内容;

最开始听起来觉得很牛逼,心想这款产品是怎么拿到个人的朋友圈数据的,直到看到它的使用流程首先需要添加微信好友,瞬间就笑着明白了。
其实,朋友圈一直是很多人的爬虫想要采集的领地。
在之前,朋友圈只能在手机或Pad上查看,要想获取朋友圈的数据,要么手工进行人肉复制,要么通过钩子进行处理。
这两种操作一个太低端了,一个又太高端了。
有没有稍微简单一点的呢?用 Appnium 或许是一个方法,操作起来比钩子简单多了,但是,Appnium 的环境配置,就会吓跑很多朋友了。
所以,Appnium 还是门槛稍高。
直到最近,微信电脑版开始支持朋友圈,事情似乎出现了转机!
所以可以通过 PyWinAuto 和 PyAutoGui 这两个工具,实现对桌面程序的自动化控制和数据采集
这两个工具,是否可以应用在微信朋友圈数据的采集上呢?
州的先生,立马写了个 Demo 来测试。
首先,引入所需的库:
  1. import psutil

  2. import pywinauto

  3. from pywinauto.application import Application

其中:
  • psutil 用于获取微信电脑版的进程信息;

  • pywinauto 用于自动化控制微信电脑版

然后,我们通过 psutil 库获取到微信电脑版程序的进程ID:
  1. PID = 0

  2. for proc in psutil.process_iter():

  3. try:

  4. pinfo = proc.as_dict(attrs=['pid', 'name'])

  5. except psutil.NoSuchProcess:

  6. pass

  7. else:

  8. if 'WeChat.exe' == pinfo['name']:

  9. PID = pinfo['pid']

这个进程ID用来提供给 PyWinAuto 以连接微信电脑版。
然后,用 PyWinAuto 实例化一个应用:
  1. app = Application(backend='uia').connect(process=PID)

接着控制微信电脑版,把朋友圈窗口打开:
  1. win = app['微信']

  2. pyq_btn = win.child_window(title="朋友圈", control_type="Button")

  3. cords = pyq_btn.rectangle()

  4. pywinauto.mouse.click(button='left', coords=(cords.left + 10, cords.top + 10))

以上代码,就实现了 Python 代码控制微信电脑版打开朋友圈窗口。
效果如下所示:


朋友圈的窗口是打开了,如果获取里面的数据呢?
我们先用 .dump_tree() 方法看看朋友圈窗口里面各个控件的结构是怎样的:
  1. print(pyq_win.dump_tree())

这会把朋友圈窗口内所有显示出来的组件的结构打印到控制台,其显示的内容如下图所示:
我们来看一个具体的例子,例如朋友圈内的这条信息:
它在 dump_tree() 中的结构如下所示:


可以看到,窗口内的每一个信息,比如联系人的名称朋友圈内容朋友圈发布时间等等都是各种组件构成的。
我们可以通过获取和控制这些个组件,来实现数据的提取。比如在这个例子里,我们就可以通过定位到 Edit 这个组件来获取到这条朋友圈的内容:
跟其他的工具比起来,是不是算是异常简单了?
不仅简单,效果还很不错。
感兴趣的朋友们,赶紧试试吧!

- EOF -

推荐阅读  点击标题可跳转

1、不会 PS 也能用,这个开源流程图绘制工具支持 100 多种自定义图形

2、Linux 编辑器之神 vim 的 IO 存储原理

3、聊聊 top 命令中的 CPU 使用率


觉得本文对你有帮助?请分享给更多人

推荐关注「Python开发者」,提升Python技能

点赞和在看就是最大的支持❤️

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/118778
 
363 次点击