Python社区  »  Python

python爬虫资源汇总 : 书单、网站博客、框架、工具、项目(附资源)

数据分析 • 2 周前 • 63 次点击  

虽然爬虫不是一门主流技术,但因其抓取速度快数据质量优的两大特点而受到越来越多的人追捧,互联网时代,有爬虫技术的加持对于职场人来说无疑是锦上添花。


随着爬虫技术的流行,网上的资源层出不穷,但对于初学者来说,可能难以选择,如果选错还会在爬虫学习上走一些弯路。


我们专门针对零基础的同学做了一份python爬虫资源汇总,包含书单、网站博客、框架、工具以及项目汇总。至于为什么选择python语言,是因为python对于小白来说更容易上手。


- 必读书单 -


不需要一大堆书单和教程,关于python爬虫,看这8本书就够了。


  01  


《Python编程:从入门到实践》

豆瓣评分:9.1



本书是一本针对所有层次的Python 读者而作的Python 入门书。

全书分两部分 第一部分介绍用Python 编程所必须了解的基本概念第二部分将理论付诸实践,讲解如何开发三个项目


  02  


《Python编程快速上手》

豆瓣评分:9.0



本书是一本面向实践的Python编程实用指南。不仅介绍Python语言的基础知识,而且还通过项目实践教会读者如何应用这些知识和技能。


  03  


《像计算机科学家一样思考Python》

豆瓣评分:8.7



本书以培养读者以计算机科学家一样的思维方式来理解Python语言编程,这是一本实用的学习指南,适合没有Python编程经验的程序员阅读。


  04  


《“笨方法”学Python》

豆瓣评分:7.9


本书非常适合想通过语言的核心来学习Python编程的初学者。你将通过完成52个精心设计的习题来学会Python。


  05  


《Python Cookbook 中文版》

豆瓣评分:9.2



本书覆盖了Python应用中的很多常见问题,并提出了通用的解决方案。


书中包含了大量实用的编程技巧和示例代码,非常适合具有一定编程基础的Python程序员阅读。


  06  


《流畅的python》

豆瓣评分:9.4



从语言设计层面剖析编程细节,兼顾Python 3和Python 2。


告诉你Python中不亲自动手实践就无法理解的语言陷阱成因和解决之道,教你写出风格地道的Python代码。


  07  


《深入浅出python》

豆瓣评分:8.5



如果你想要学习Python编程的基础知识,并且不想要看一堆乏味难懂的书籍和教程。那么Paul Barry的《Head First Python》就是你的不二之选。


  08  


《python3 网络爬虫开发实战》

豆瓣评分:9.0



全面介绍了利用 Python3 开发网络爬虫的知识.


从各种类型的环境配置和爬虫基础知识出发,配合新鲜案例进行数据爬取,还教授一些爬虫技巧,是一本很好的实战书籍。


/

我们已经将以上提及的书单资源进行了打包

在公众号后台回复“爬虫书单”即可领取

/



- 网站博客 -


  01  


awesome-python-login-model



该项目收集了一些各大网站登陆方式和一些网站的爬虫程序,用于研究和分享各大网站的模拟登陆方式和爬虫程序。

网址:https://awesome-python


  02  


《Python3网络爬虫开发实战》作者博客



《python3网络爬虫与开发实战》作者,在此博客上面分享一些自己的爬虫案例和心得,内容非常丰富。

网址:https://cuiqingcai.com


  03  


Scraping.pro


Scraping.pro是一个专业的采集软件测评网站,上面有各种国外比较顶尖的采集软件测评文,比如scrapy、octoparse等

网址:http://www.scraping.com/


  04  


Kdnuggets



相比scraping.pro,Kdnuggets涵盖范围更广,包括商业分析、大数据、数据挖掘、数据科学等。

网址:https://www.kdnuggets.com/


  05  


Octoparse



Octoparse是一款功能强大的免费采集软件,它的博客提供的内容比较广,浅显易懂,比较适合初步的网站采集用户。

网址:https://www.octoparse.com


  06  


Big Data News



Big data news和Kdnuggets类似,涵盖的范围主要是在大数据行业方面,网站采集是其下面的一个子栏目。

网址:https://www.bigdatanews


  07  


Analytics Vidhya



跟Big data news类似,Analytics Vidhya是一个更专业的数据采集网站,内容涵盖数据科学、机器学习、网站采集等。

网址:https://www.analyticsvidhya



- 爬虫框架 -


  01  


Scrapy



是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。

网址:https://scrapy.org


  02  


PySpider



pyspider 是一个用python实现的功能强大的网络爬虫系统,能在浏览器界面上进行脚本的编写,功能的调度和爬取结果的实时查看.


后端使用常用的数据库进行爬取结果的存储,还能定时设置任务与任务优先级等。

网址:https://pyspider


  03  


Crawley



Crawley可以高速爬取对应网站的内容,支持关系和非关系数据库,数据可以导出为JSON、XML等。

网址:http://crawley-cloud.com/


  04  


Portia



Portia是一个开源可视化爬虫工具,可让您在不需要任何编程知识的情况下爬取网站!

网址:https://portia


  05  


Newspaper



Newspaper可以用来提取新闻、文章和内容分析。使用多线程,支持10多种语言等。

网址:https://newspaper


  06  


Beautiful Soup


Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。


它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式。

网址:https://BeautifulSoup/bs4/doc/


  07  


Grab




Grab是一个用于构建Web刮板的Python框架。


您可以构建各种复杂的网页抓取工具,从简单的5行脚本到处理数百万个网页的复杂异步网站抓取工具。

网址:http://grab-spider-user-manual

  08  


Cola



Cola是一个分布式的爬虫框架,对于用户来说,只需编写几个特定的函数,而无需关注分布式运行的细节。

项目地址:https://github.com/chineking/cola



- 工具 -


  01  


4个HTTP代理工具


(1)Fiddler


Fiddler 是 Windows 平台最好用的可视化抓包工具,也是大家最熟知的 HTTP 代理工具。


功能非常强大,除了可以清晰的了解每个请求与响应之外,还可以进行断点设置,修改请求数据、拦截响应内容。

链接:https://www.telerik.com/fiddler


(2)Charles


Charles 是 macOS 平台下最好用的抓包分析工具之一。


同样提供GUI界面,界面简洁,基本功能包括HTTP、HTTPS 请求抓包,支持请求参数的修改,最新的 Charles 4 还支持 HTTP/2。

链接:https://www.charlesproxy.com/


(3)AnyProxy


AnyProxy 是 阿里巴巴开源的 HTTP 抓包工具,基于 NodeJS 实现。


优点是支持二次开发,可自定义请求处理逻辑,如果你会写JS的话,同时需要做一些自定义的处理,那么AnyProxy 是非常适合的。

GitHub地址:https://alibaba/anyproxy


(4)mitmproxy


mitmproxy 是一款基于 Python,支持 SSL 的抓包工具。它是跨平台的,而且提供的是命令行交互模式。

GitHub 地址:https://mitmproxy/


  02  


python爬虫工具汇总



这是关于python爬虫的工具汇总,只要你能想到的几乎都能在这儿找到。

网址:https://lartpang/spyder_tool


  03  


httpbin



此网站可以用作爬虫的测试(http和https),会返回爬虫机器的一些信息,也可以做在线测试。

网址:httpbin.org


  04  


curl to python



此网站可以将curl命令快速转为python的requests请求(其他语言也可以),而curl命令可以通过浏览器开发者工具快速获取。

网址:https://curl.trillworks.com


  05  


在线转换



有时我们在网页上看到是中文,但查看网页源码时显示的是unicode字符,此时需要在线unicode字符转中文。

网址:https://unicode_chinese/


  06  


XPath Helper



此工具是chrome的扩展程序,用于辅助分析和调试xpath。

链接:https://xpath-helper/


  07  


JavaScript Toggle On and Off



此工具为chrome扩展程序,用于检测目标网站哪些元素是通过JS加载的。

网址:https://toggle-on-and-off


  08  


EditThisCookie



此工具为chrome扩展程序,可对目标网站的cookies进行任意的操作,具体详细的用法可查看上面提供的官方文档。

网址:Getting Started with EditThisCookie


  09  


Postman



官方推荐使用本地应用程序代替chrome的扩展程序,因此只需在官网下载安装包即可。


Postman是一款web调试和测试的工具,请求参数完全由自己控制,可模拟几乎所有类型的http请求。

网址:Postman


  10  


 代理ip检测


做爬虫时,很多时候需要用到代理ip,此网站可以查看代理是否可用,代理ip的匿名程度,地点等信息。

网址:proxyhttp.net/check


- 项目上手 -


作为一门技术,知晓了方法,想要掌握的秘诀就是训练,那么通过项目来练手就非常重要了。


既然书读百遍奇异自现,那爬虫百遍,相信你也能找到爬虫的通用套路和技巧。


01

微信公众号爬虫

基于搜狗微信搜索的微信公众号爬虫接口,可以扩展成基于搜狗搜索的爬虫,返回结果是列表,每一项均是公众号具体信息字典。

网址:https://WechatSogou

02

豆瓣读书爬虫

可以爬下豆瓣读书标签下的所有图书,按评分排名依次存储,存储到Excel中。

网址:https://DouBanSpider

03

知乎爬虫

此项目的功能是爬取知乎用户信息以及人际拓扑关系,爬虫框架使用scrapy,数据存储使用mongo

网址:https://zhihu_spider

04

哔哩哔哩爬虫

爬取B站用户数据并生成B站用户数据报告。

网址:https://bilibili-user

05

新浪微博爬虫

主要使用scary爬虫框架,爬取新浪微博用户的个人信息、微博信息、粉丝和关注。

网址:https://SinaSpider

06

小说爬虫

使用scrapy,Redis, MongoDB,graphite实现的一个分布式网络爬虫。

网址:https://distribute_crawler

07

中国知网爬虫

中国知网爬虫,设置检索条件后,执行src/CnkiSpider.py抓取数据,抓取数据存储在/data目录下,每个数据文件的第一行为字段名称。

网址:https://CnkiSpider

08

链家爬虫

爬取北京地区链家历年二手房成交记录。涵盖链家爬虫一文的全部代码,包括链家模拟登录代码。

网址:https://LianJiaSpider

09

京东爬虫

基于scrapy的京东网站爬虫,保存格式为csv。

网址:https://scrapy_jingdong

10

 QQ群爬虫

批量抓取 QQ 群信息,包括群名称、群号、群人数、群主、群简介等内容,最终生成 XLS(X) / CSV 结果文件。

网址:https://QQ-Groups-Spider

11

QQ空间爬虫

包括日志、说说、个人信息等,一天可抓取 400 万条数据。

网址:https://QQSpider

12

hao123爬虫

以hao123为入口页面,滚动爬取外链,收集网址,并记录网址上的内链和外链数目,记录title等信息,windows7 32位上测试,目前每24个小时,可收集数据为10万左右。

网址:https://sdfzy/spider

13

机票爬虫

Findtrip是一个基于Scrapy的机票爬虫,目前整合了国内两大机票网站(去哪儿 + 携程)。

网址: https://findtrip

14

豆瓣爬虫集

豆瓣电影、书籍、小组、相册、东西等爬虫集。

网址:https://doubanspiders

15

mp3爬虫

百度mp3全站爬虫,使用redis支持断点续传。

网址:https://baidu-music-spider

16

淘宝天猫爬虫

可以根据搜索关键词,物品id来抓去页面的信息,数据存储在mongodb。

网址:https://tbcrawler

17

股票爬虫

一个股票数据(沪深)爬虫和选股策略测试框架根据选定的日期范围抓取所有沪深两市股票的行情数据。


支持使用表达式定义选股策略。支持多线程处理。保存数据到JSON文件、CSV文件。

网址:https://stockholm

18

百度云爬虫

爬取百度云盘资源。

网址:https://BaiduyunSpider

19

社交数据爬虫

支持微博,知乎,豆瓣。

网址:https://Qutan/Spider

20

ip池爬虫

Python爬虫代理IP池(proxy pool)。

网址:https://proxy_pool

21

网易云爬虫

爬取网易云音乐所有歌曲的评论。

网址:https://music-163

22

图片爬虫

爬取煎蛋妹纸图片。

网址:https://jandan_spider

23

cnblogs爬虫

爬取cnblogs列表页。

网址:https://CnblogsSpider

24

慕课网爬虫

爬取慕课网视频。

网址:https://spider_smooc

25

知道创宇爬虫

知道创宇爬虫题目

网址:https://knowsecSpider2

26

图片爬虫

爱丝APP图片爬虫。

网址:https://aiss-spider

27

新浪爬虫

动态IP解决新浪的反爬虫机制,快速抓取内容。

网址:https://SinaSpider

28

csdn爬虫

爬取CSDN上的博客文章。

网址:https://csdn-spider

29

proxy爬虫

爬取proxy上的代理IP,并验证代理可用性。

网址:https://ProxySpider

30

乌云爬虫

乌云公开漏洞、知识库爬虫和搜索。

网址:https://wooyun_public


关于python爬虫的资源汇总到这里就差不多了,欢迎大家补充,别忘了在后台回复“爬虫书单”获取资源哟~


本文转自:DC黑板报 ;获授权;

END

合作请加QQ:365242293  

数据分析(ID : ecshujufenxi )互联网科技与数据圈自己的微信,也是WeMedia自媒体联盟成员之一,WeMedia联盟覆盖5000万人群。

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/56479
 
63 次点击  
分享到微博