写在前面
今天是第78篇Python爬虫博客了，在这里立个Flag，争取在10月1日之前把爬虫百例写完，如果你从第一篇看到现在，你应该是一个合格的爬虫Coder了，继续加油！！
继续搞定增量爬虫，本文涉及两个Python模块，一个为Scrapy，另一个是BloomFilter
BloomFilter（布隆过滤器）使用场景
关于BloomFilter是谁发明的以及为什么发明，本文就不在赘述了，下面主要给大家分享一下BloomFilter使用的场景
-
黑名单应用（邮件黑名单）
-
网络爬虫去重（和我们要学的增量爬虫产生了关联）
-
KV系统快速判断Key是否存在
-
减少缓存穿透（具体没尝试过，不做过多的解释，可以参照：http://blog.itpub.net/31561269/viewspace-2639083/ 博客内容）
今天需要掌握的一个库叫做
pybloom_live
关于它的源码，最新的版本参照
