社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Python

Python爬虫入门教程 94-100 帮粉丝写Python爬虫之【微信读书书籍信息爬取】

梦想橡皮擦 • 5 年前 • 636 次点击  

X同学发私信说想要微信读书上的书籍清单做测试用,吓我一跳,原以为是要爬取APP呢,刚换了新笔记本难道要配置新的开发环境,结果是爬取一个PC端的网站,虚惊一场。

爬虫百例教程导航链接 : https://blog.csdn.net/hihell/article/details/86106916

写在前面

本篇博客要爬取的页面是微信读书的PC端页面,不过并不是把书籍下载下来,只是抓取信息,所以整体实现难度不大,为了简化操作,我将书籍分类与书籍数目做成可输入项。

页面地址为: https://weread.qq.com/

要爬取的数据为:

Python爬虫入门教程 94-100 帮粉丝写Python爬虫之【微信读书书籍信息爬取】
点击具体某一分类榜单,地址为: https://weread.qq.com/web/category/100000 后面的数字ID是类别号,页面下拉刷新,加载的页面是

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/73976