代理ip检测
做爬虫时，很多时候需要用到代理ip，此网站可以查看代理是否可用，代理ip的匿名程度，地点等信息。
网址：proxyhttp.net/check
- 项目上手 -
作为一门技术，知晓了方法，想要掌握的秘诀就是训练，那么通过项目来练手就非常重要了。
既然书读百遍奇异自现，那爬虫百遍，相信你也能找到爬虫的通用套路和技巧。
基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。
网址：https://WechatSogou
可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到Excel中。
网址：https://DouBanSpider
此项目的功能是爬取知乎用户信息以及人际拓扑关系，爬虫框架使用scrapy，数据存储使用mongo
网址：https://zhihu_spider
爬取B站用户数据并生成B站用户数据报告。
网址：https://bilibili-user
主要使用scary爬虫框架，爬取新浪微博用户的个人信息、微博信息、粉丝和关注。
网址：https://SinaSpider
使用scrapy,Redis, MongoDB,graphite实现的一个分布式网络爬虫。
网址：https://distribute_crawler
中国知网爬虫，设置检索条件后，执行src/CnkiSpider.py抓取数据，抓取数据存储在/data目录下，每个数据文件的第一行为字段名称。
网址：https://CnkiSpider
爬取北京地区链家历年二手房成交记录。涵盖链家爬虫一文的全部代码，包括链家模拟登录代码。
网址：https://LianJiaSpider
基于scrapy的京东网站爬虫，保存格式为csv。
网址：https://scrapy_jingdong
批量抓取 QQ 群信息，包括群名称、群号、群人数、群主、群简介等内容，最终生成 XLS(X) / CSV 结果文件。
网址：https://QQ-Groups-Spider
包括日志、说说、个人信息等，一天可抓取 400 万条数据。
网址：https://QQSpider
以hao123为入口页面，滚动爬取外链，收集网址，并记录网址上的内链和外链数目，记录title等信息，windows7 32位上测试，目前每24个小时，可收集数据为10万左右。
网址：https://sdfzy/spider
Findtrip是一个基于Scrapy的机票爬虫，目前整合了国内两大机票网站（去哪儿 + 携程）。
网址：
https://findtrip
豆瓣电影、书籍、小组、相册、东西等爬虫集。
网址：https://doubanspiders
百度mp3全站爬虫，使用redis支持断点续传。
网址：https://baidu-music-spider
可以根据搜索关键词,物品id来抓去页面的信息，数据存储在mongodb。
网址：https://tbcrawler
一个股票数据（沪深）爬虫和选股策略测试框架根据选定的日期范围抓取所有沪深两市股票的行情数据。
支持使用表达式定义选股策略。支持多线程处理。保存数据到JSON文件、CSV文件。
网址：https://stockholm
爬取百度云盘资源。
网址：https://BaiduyunSpider
支持微博,知乎,豆瓣。
网址：https://Qutan/Spider
Python爬虫代理IP池(proxy pool)。
网址：https://proxy_pool
爬取网易云音乐所有歌曲的评论。
网址：https://music-163
爬取煎蛋妹纸图片。
网址：https://jandan_spider
爬取cnblogs列表页。
网址：https://CnblogsSpider
爬取慕课网视频。
网址：https://spider_smooc
知道创宇爬虫题目
网址：https://knowsecSpider2
爱丝APP图片爬虫。
网址：https://aiss-spider
动态IP解决新浪的反爬虫机制，快速抓取内容。
网址：https://SinaSpider
爬取CSDN上的博客文章。
网址：https://csdn-spider
爬取proxy上的代理IP，并验证代理可用性。
网址：
https://ProxySpider
乌云公开漏洞、知识库爬虫和搜索。
网址：https://wooyun_public
关于python爬虫的资源汇总到这里就差不多了，欢迎大家补充，别忘了在后台回复“爬虫书单”获取资源哟~
本文转自：DC黑板报 ；获授权；
END
合作请加QQ：365242293
数据分析（ID : ecshujufenxi ）互联网科技与数据圈自己的微信，也是WeMedia自媒体联盟成员之一，WeMedia联盟覆盖5000万人群。
