爬虫，即网络爬虫，是一种自动获取网页内容的程序。是搜索引擎的重要组成部分，因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。
网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。
世界上已经成型的爬虫软件多达上百种，本文对较为知名及常见的开源爬虫软件进行梳理，按开发语言进行汇总。虽然搜索引擎也有爬虫，但本次我汇总的只是爬虫软件，而非大型、复杂的搜索引擎，因为很多兄弟只是想爬取数据，而非运营一个搜索引擎。
Java爬虫
Arachnid
Arachnid是一个基于Java的web spider框架.它包含一个简单的HTML剖析器能够分析包含HTML内容的输入流.通过实现Arachnid的子类就能够开发一个简单的Web spiders并能够在Web站上的每个页面被解析之后增加几行代码调用。 Arachnid的下载包中包含两个spider应用程序例子用于演示如何使用该框架。
特点：微型爬虫框架，含有一个小型HTML解析器
crawlzilla
crawlzilla 是一个帮你轻松建立搜索引擎的自由软件，有了它，你就不用依靠商业公司的搜索引擎，也不用再烦恼公司內部网站资料索引的问题。
由 nutch 专案为核心，并整合更多相关套件，并卡发设计安装与管理UI，让使用者更方便上手。
crawlzilla 除了爬取基本的 html 外，还能分析网页上的文件，如（ doc、pdf、ppt、ooo、rss ）等多种文件格式，让你的搜索引擎不只是网页搜索引擎，而是网站的完整资料索引库。
拥有中文分词能力，让你的搜索更精准。
crawlzilla的特色与目标，最主要就是提供使用者一个方便好用易安裝的搜索平台。
授权协议： Apache License 2
开发语言： Java JavaScript SHELL
操作系统： Linux
项目主页： https://github.com/shunfa/crawlzilla
下载地址： http://sourceforge.net/projects/crawlzilla/
Ex-Crawler
Ex-Crawler 是一个网页爬虫，采用 Java 开发，该项目分成两部分，一个是守护进程，另外一个是灵活可配置的 Web 爬虫。使用数据库存储网页信息。
授权协议： GPLv3
开发语言： Java
操作系统： 跨平台
特点：由守护进程执行，使用数据库存储网页信息
Heritrix
Heritrix 是一个由 java 开发的、开源的网络爬虫，用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性，方便用户实现自己的抓取逻辑。
Heritrix采用的是模块化的设计，各个模块由一个控制器类（CrawlController类）来协调，控制器是整体的核心。
代码托管：https://github.com/internetarchive/heritrix3
授权协议： Apache
开发语言： Java
操作系统： 跨平台
特点：严格遵照robots文件的排除指示和META robots标签
heyDr
heyDr是一款基于java的轻量级开源多线程垂直检索爬虫框架，遵循GNU GPL V3协议。
用户可以通过heyDr构建自己的垂直资源爬虫，用于搭建垂直搜索引擎前期的数据准备。
授权协议： GPLv3
开发语言： Java
操作系统： 跨平台
特点：轻量级开源多线程垂直检索爬虫框架
ItSucks
ItSucks是一个java web spider（web机器人，爬虫）开源项目。支持通过下载模板和正则表达式来定义下载规则。提供一个swing GUI操作界面。
特点：提供swing GUI操作界面
jcrawl
jcrawl是一款小巧性能优良的的web爬虫,它可以从网页抓取各种类型的文件,基于用户定义的符号,比如email,qq.
授权协议： Apache
开发语言： Java
操作系统： 跨平台
特点：轻量、性能优良，可以从网页抓取各种类型的文件
JSpider
JSpider是一个用Java实现的WebSpider，JSpider的执行格式如下：
jspider [URL] [ConfigName]
URL一定要加上协议名称，如：http://，否则会报错。如果省掉ConfigName，则采用默认配置。
JSpider 的行为是由配置文件具体配置的，比如采用什么插件，结果存储方式等等都在conf[ConfigName]\目录下设置。JSpider默认的配置种类 很少，用途也不大。但是JSpider非常容易扩展，可以利用它开发强大的网页抓取与数据分析工具。要做到这些，需要对JSpider的原理有深入的了 解，然后根据自己的需求开发插件，撰写配置文件。
授权协议： LGPL
开发语言： Java
操作系统： 跨平台
特点：功能强大，容易扩展
Leopdo
用JAVA编写的web 搜索和爬虫，包括全文和分类垂直搜索，以及分词系统
授权协议： Apache
开发语言： Java
操作系统： 跨平台
特点：包括全文和分类垂直搜索，以及分词系统
MetaSeeker
是一套完整的网页内容抓取、格式化、数据集成、存储管理和搜索解决方案。
网络爬虫有多种实现方法，如果按照部署在哪里分，可以分成：
服务器侧：
一般是一个多线程程序，同时下载多个目标HTML，可以用PHP， Java, Python(当前很流行）等做，可以速度做得很快，一般综合搜索引擎的爬虫这样做。但是，如果对方讨厌爬虫，很可能封掉你的IP，服务器IP又不容易 改，另外耗用的带宽也是挺贵的。建议看一下Beautiful soap。
客户端：
一般实现定题爬虫，或者是聚焦爬虫，做综合搜索引擎不容易成功，而垂直搜诉或者比价服务或者推荐引擎，相对容易很多，这类爬虫不是什么页面都 取的，而是只取你关系的页面，而且只取页面上关心的内容，例如提取黄页信息，商品价格信息，还有提取竞争对手广告信息的，搜一下Spyfu，很有趣。这类 爬虫可以部署很多，而且可以很有侵略性，对方很难封锁。
MetaSeeker中的网络爬虫就属于后者。
MetaSeeker工具包利用Mozilla平台的能力，只要是Firefox看到的东西，它都能提取。
MetaSeeker工具包是免费使用的，下载地址：www.gooseeker.com/cn/node/download/front
特点：网页抓取、信息提取、数据抽取工具包，操作简单
Python爬虫
QuickRecon
QuickRecon是一个简单的信息收集工具,它可以帮助你查找子域名名称、perform zone transfe、收集电子邮件地址和使用microformats寻找人际关系等。QuickRecon使用python编写，支持linux和 windows操作系统。
授权协议： GPLv3
开发语言： Python
操作系统： Windows Linux
特点：具有查找子域名名称、收集电子邮件地址并寻找人际关系等功能
PyRailgun
这是一个非常简单易用的抓取工具。支持抓取javascript渲染的页面的简单实用高效的python网页爬虫抓取模块
授权协议： MIT
开发语言： Python
操作系统： 跨平台 Windows Linux OS X
特点：简洁、轻量、高效的网页抓取框架
备注：此软件也是由国人开放
github下载：https://github.com/princehaku/pyrailgun#readme
Scrapy
Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便～
授权协议： BSD
开发语言： Python
操作系统： 跨平台
github源代码：https://github.com/scrapy/scrapy
特点：基于Twisted的异步处理框架，文档齐全
