Python社区  »  Python

Python 爬取朋友圈最新方法!!

Python爱好者社区 • 3 周前 • 32 次点击  

来源 | 州的先生


在几年前,互联网上曾经出现过一款生成朋友圈相册的产品。但是它的流程说起来很不互联网:
  • 首先,需要添加指定的微信号,并且给这个微信号查看自己朋友圈的权限;

  • 然后,等待几个小时;

  • 最后,得到一个链接,里面用相册模板显示了自己的朋友圈内容;

最开始听起来觉得很牛逼,心想这款产品是怎么拿到个人的朋友圈数据的,直到看到它的使用流程首先需要添加微信好友,瞬间就笑着明白了。
其实,朋友圈一直是很多人的爬虫想要采集的领地。
在之前,朋友圈只能在手机或Pad上查看,要想获取朋友圈的数据,要么手工进行人肉复制,要么通过钩子进行处理。
这两种操作一个太低端了,一个又太高端了。
有没有稍微简单一点的呢?用 Appnium 或许是一个方法,操作起来比钩子简单多了,但是,Appnium 的环境配置,就会吓跑很多朋友了。
所以,Appnium 还是门槛稍高。
直到最近,微信电脑版开始支持朋友圈,事情似乎出现了转机!
所以可以通过 PyWinAuto 和 PyAutoGui 这两个工具,实现对桌面程序的自动化控制和数据采集
这两个工具,是否可以应用在微信朋友圈数据的采集上呢?
州的先生,立马写了个 Demo 来测试。
首先,引入所需的库:
  1. import psutil

  2. import pywinauto

  3. from pywinauto.application import Application

其中:
  • psutil 用于获取微信电脑版的进程信息;

  • pywinauto 用于自动化控制微信电脑版

然后,我们通过 psutil 库获取到微信电脑版程序的进程ID:
  1. PID = 0

  2. for proc in psutil.process_iter():

  3. try:

  4. pinfo = proc.as_dict(attrs=['pid', 'name'])

  5. except psutil.NoSuchProcess:

  6. pass

  7. else:

  8. if 'WeChat.exe' == pinfo['name']:

  9. PID = pinfo['pid']

这个进程ID用来提供给 PyWinAuto 以连接微信电脑版。
然后,用 PyWinAuto 实例化一个应用:
  1. app = Application(backend='uia').connect(process=PID)

接着控制微信电脑版,把朋友圈窗口打开:
  1. win = app['微信']

  2. pyq_btn = win.child_window(title="朋友圈", control_type="Button")

  3. cords = pyq_btn.rectangle()

  4. pywinauto.mouse.click(button='left', coords=(cords.left + 10, cords.top + 10))

以上代码,就实现了 Python 代码控制微信电脑版打开朋友圈窗口。
效果如下所示:


朋友圈的窗口是打开了,如果获取里面的数据呢?
我们先用 .dump_tree() 方法看看朋友圈窗口里面各个控件的结构是怎样的:
  1. print(pyq_win.dump_tree())

这会把朋友圈窗口内所有显示出来的组件的结构打印到控制台,其显示的内容如下图所示:
我们来看一个具体的例子,例如朋友圈内的这条信息:
它在 dump_tree() 中的结构如下所示:


可以看到,窗口内的每一个信息,比如联系人的名称朋友圈内容朋友圈发布时间等等都是各种组件构成的。
我们可以通过获取和控制这些个组件,来实现数据的提取。比如在这个例子里,我们就可以通过定位到 Edit 这个组件来获取到这条朋友圈的内容:
跟其他的工具比起来,是不是算是异常简单了?
不仅简单,效果还很不错。
感兴趣的朋友们,赶紧试试吧!



重磅!Python交流已成立


公众号运营至今,离不开小伙伴们的支持。
为了给小伙伴们提供一个互相交流的技术平台,特地开通了Python交流群。
群里有不少技术大神,不时会分享一些技术要点,更有一些资源收藏爱好者不时分享一些优质的学习资料。(免费,不卖课!)
需要进群的朋友,可长按扫描下方二维码。


▲长按扫码

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/120794
 
32 次点击  
分享到微博