孰能生巧，用在技术领域在通用不过了，作为一个初学者，需要牢固的掌握技术，那必须依赖自己每日的耕耘。我是梦想橡皮擦，希望某天我们在高处相逢。
写在前面
看完标题之后，如果你对什么是增量爬虫产生了疑问，恭喜，你又将有收获了，如果你没有疑问，厉害，高手~
增量爬虫
其实是一种内容爬取的叫法，增量就是增加的量，我们的爬虫当爬取完毕一个网址之后，某些网站会在原来的数据上又更新了一批，例如虎嗅的头条推荐、小说网的章节更新等等其他只要存在动态更新的网站，其实都适用于增量爬虫。
这样我们就可以给
增量爬虫
做一个简单的定义了：在上一次爬取的结果上再次进行爬取
编码开始
我们接下来就通过爬虫程序检测某个网站，当该网站更新时，我们进行增量爬取。
该网站是搜狗搜索平台：
https://weixin.sogou.com/
，可以跟踪热点新闻
增量爬虫的核心是
去重
关于去重的办法其实就三种
-
发起请求前判断该URL是否请求过
-
解析内容之后判断内容是否获取过
-
存储时判断
