数据爬取

爬虫的具备条件

jdbc：操作数据库。

ehcache(redis)：重复url判断。

log4j：日志记录。

httpclient：发送http请求。

jsoup：解析返回的网页内容。

Maven的使用：

（1）log4j 的使用；

 1. 使用 Maven 下载 log4j 的 Jar 包

 2. 在 src 目录下创建 log4j.properties 文本文件，并做相关配置（关于每个配置的具体含义，读者可参考博文 《详细的 Log4j 使用教程》）:

（2）对象的创建；

 创建需要的对象

（3）集合的使用；

封装所得的数据

（4）正则表达式的使用；

 解析数据

（5）HTTP 状态码；

当浏览者访问一个网页时，浏览者的浏览器会向网页所在服务器发出请求