爬虫是偏后台型的任务，以抓取效率为主，并没有很好的用户界面，并且需要不断地维护。所以对于完全没有编程基础的人来说，可能会遇到各种各样的问题。

环境、架构：

• 开发语言：Python2.7
• 开发环境：Windows
• 数据库：MongoDB 3.2.0

启动前配置：

需要安装的软件：

• python
• Redis
• MongoDB

（Redis和MongoDB都是NoSQL，服务启动后能连接上就行，不需要建表什么的）。

需要安装的Python模块：

• requests
• BeautifulSoup
• multiprocessing
• selenium
• itertools
• redis
• pymongo

先看看效果图

说说的数据

代码比较多，发出来也看不清楚，如果需要源代码的朋友可以关注小编后私信

【QQ空间】就可以了。

那小编这里先给大家说一下代码吧，到时候拿到代码后可以回头过来看看，代码说明哈。

有什么问题请尽量留言，方便后来遇到同样问题的朋友查看。