Py学习  »  Python

淘宝、知乎、豆瓣......18个网站的Python爬虫登录汇总,都在这个开源项目里

人工智能与大数据技术 • 5 年前 • 626 次点击  

来自:开源最前线(ID:OpenSourceTop)

项目地址:https://github.com/CriseLYJ/awesome-python-login-model


如果你从事数据科学领域,那么获取数据对于你来说就不可或缺,网络爬虫这一关你必须得过,而说到爬虫,大多数人想到的就是Python,因为python不仅编写调试方便,而且能够快速入门,最主要的是相关的类库十分丰富


今天,要和大家推荐的这个项目就是和Python编程有关的,这个项目介绍了如何用 Python 登录各大网站,并用简单的爬虫获取一些有用数据,目前该项目已经提供了知乎、B 站、和豆瓣等 18 个网站的登录方法。



模拟登陆基本采用的是直接登录或者使用selenium+webdriver的方式,有的网站直接登录难度很大,比如qq空间,bilibili等如果采用selenium就相对轻松一些。


每一个网站都会有对应的登录代码,有的还有数据的爬取代码。下面我们以淘宝为例:

  • 爬取淘宝各子标签,按销量排名商品信息,按分类保存至MongoDB

  • 通过pandas进行数据分析

  • 将商品在各省分布、销量排行、地图分布等通过matplotlib绘图显示



以上是淘宝爬虫相关的文件:

  • taobao.py为模拟登录

  • 剩下的文件为爬虫


模拟登陆的代码如下:



Bilibili自动登录测试正常,成功率98%



如果你还想查看更多示例,可以前往GitHub详情页,而且创建者也鼓励广大开发者提 Issue 或 Pull Requests。



目前该项目已经获得 6732 个Star,1127 个Fork(GitHub地址:https://github.com/CriseLYJ/awesome-python-login-model



●编号795,输入编号直达本文

●输入m获取文章目录

推荐↓↓↓

Python编程

更多推荐25个技术类公众微信

涵盖:程序人生、算法与数据结构、黑客技术与网络安全、大数据技术、前端开发、Java、Python、Web开发、安卓开发、iOS开发、C/C++、.NET、Linux、数据库、运维等。

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/31406
 
626 次点击