tmaczt 2019-04-02
这次给大家带来的是4 幅思维导图,梳理了 Python 爬虫部分核心知识点:网络基础知识,Requests,BeautifulSoup,urllib 和 Scrapy 爬虫框架。
爬虫是一个非常有趣的主题,本文正是通过爬虫完成了课题所需数据的原始积累。第一次抓到数据时,感觉世界都明亮了呢~
当然,由于日常项目要求不高,本文思维导图仅仅涉及了爬虫最核心基础的部分,但足够应对入门所需了~
P.S.由于平台对图片有一定程度的压缩,建议文末下载高清原图,放大后阅读。
制图工具:XMind
思维导图
1、爬虫基础知识
2、Requests 库
3、BeautifulSoup & urllib
4、Scrapy 爬虫框架
如果你希望进一步学习表单提交,JS 处理,验证码等更高阶的话题,可以继续深入学习本文附上的参考资料哦:
《Python 网络数据采集》
本书采用简洁强大的Python语言,介绍了网络数据采集,并为采集新式网络中的各种数据类型提供了全面的指导。第一部分重点介绍网络数据采集的基本原理:如何用Python从网络服务器请求信息,如何对服务器的响应进行基本处理,以及如何以自动化手段与网站进行交互。第二部分介绍如何用网络爬虫测试网站,自动化处理,以及如何通过更多的方式接入网络。
知识体系已整理好,欢迎免费领取。分享给喜欢Java的,喜欢编程,有梦想成为架构师的程序员们,希望能够帮助到你们。不是Java的程序员也没关系,帮忙转发给更多朋友!图文里的技术如何学习,有没有免费资料?