web爬虫

这篇文章主要是对web爬虫有个大概的认知。

概览web爬虫

web爬虫主要功能是从web中发现，下载以及存储内容。广泛应用于各种搜索引擎中。

一个典型的web爬虫主要由以下的部分组成：

• 能被爬虫识别的URL库。
• 文档下载模块，主要用于从web中下载内容。
• 文档解析模块，用于解析下载文档中的内容，如解析HTML,PDF,Word等等。这个模块还要提取网页中的URL和一些对于索引有用的数据。
• 存储文档的元数据以及内容的库。
• 规范化URL模块，把URL转成标准的格式。
• URL过滤器，爬虫可以过滤掉不需要的URL。

爬虫的两个阶段

一个典型的爬虫主要有如下两个阶段

1. URL库初始化然后开始爬取。
2. 爬虫读取没有访问过的URL，来确定它的工作范围。

幸运的是，有开源的爬虫可以使用

在java中，nutch和heritrix都提供了爬虫的实现。Nutch是apache lucene的子项目，地址是http://lucene.apache.org/nutch/。这个项目非常稳定，并且文档丰富。Nutch把多个网页存储在一个文件中。对于大的爬虫来说，这么降低I/O读写，性能更加优秀。

Heritrix是互联网存档的web爬虫。项目地址为http://crawler.archive.org/。Heritrix专注于大型爬虫的实现。许可证为LGPL。

另外提一下，还有一个项目值得关注，那就是apache tika。项目地址为http://tika.apache.org/。tika使用解析器从文档中发现以及提取元数据和文本内容。