python爬取银行理财产品信息(共12多万条)并存入MongoDB

fudirong 2019-03-18

本次Scrapy爬虫的目标是爬取“融360”网站上所有银行理财产品的信息,并存入MongoDB中。网页的截图如下,全部数据共12多万条。

python爬取银行理财产品信息(共12多万条)并存入MongoDB

用来储存每个理财产品的相关信息,如产品名称,发行银行等

python爬取银行理财产品信息(共12多万条)并存入MongoDB

创建爬虫文件bankSpider.py,代码如下,用来爬取网页中理财产品的具体信息。

python爬取银行理财产品信息(共12多万条)并存入MongoDB

为了将爬取的数据储存到MongoDB中,我们需要修改pipelines.py文件,代码如下:

python爬取银行理财产品信息(共12多万条)并存入MongoDB

其中的MongoDB的相关参数,如MONGO_HOST, MONGO_PORT在settings.py中设置。修改settings.py如下:

ROBOTSTXT_OBEY = False

ITEM_PIPELINES = {'bank.pipelines.BankPipeline': 300}

添加MongoDB连接参数

python爬取银行理财产品信息(共12多万条)并存入MongoDB

其中用户名和密码可以根据需要添加。

接下来,我们就可以运行爬虫了。运行结果如下:

python爬取银行理财产品信息(共12多万条)并存入MongoDB

共用时3小时,爬了12多万条数据,效率之高令人惊叹!

最后我们再来看一眼MongoDB中的数据:

python爬取银行理财产品信息(共12多万条)并存入MongoDB

最后,想学习Python的小伙伴们!

请关注+私信回复:“学习”就可以拿到一份我为大家准备的Python学习资料!

python爬取银行理财产品信息(共12多万条)并存入MongoDB

pytyhon学习资料

python爬取银行理财产品信息(共12多万条)并存入MongoDB

python学习资料

相关推荐