scrapy学习之路5(selenium集成到scrapy下(crawspider未测试))

letheashura 2019-06-26

1:基本

Middlewares.py(downloader)
scrapy学习之路5(selenium集成到scrapy下(crawspider未测试))

spider/xxx.py
scrapy学习之路5(selenium集成到scrapy下(crawspider未测试))

settings.py
scrapy学习之路5(selenium集成到scrapy下(crawspider未测试))


2:优化

为了不让chrome每次启动,添加它到Middleware定义类的初始方法中启动

Middlewares.py(downloader)
scrapy学习之路5(selenium集成到scrapy下(crawspider未测试))


3:优化(浏览器的自动开启与关闭)

scrapy学习之路5(selenium集成到scrapy下(crawspider未测试))

在spider/xxx.py中
scrapy学习之路5(selenium集成到scrapy下(crawspider未测试))

Middlewares.py(downloader)
scrapy学习之路5(selenium集成到scrapy下(crawspider未测试))

加入信号链dispatcher,signals
spider/xxx.py
scrapy学习之路5(selenium集成到scrapy下(crawspider未测试))

爬虫结束会输出
scrapy学习之路5(selenium集成到scrapy下(crawspider未测试))

相关推荐

nanbiebao / 0评论 2019-12-12