yangj0 2019-02-22
大到各类搜索引擎,小到日常数据采集,都离不开网络爬虫。爬虫的基本原理很简单,遍历网络中网页,抓取感兴趣的数据内容。这篇文章会从零开始介绍如何编写一个网络爬虫抓取数据,然后会一步步逐渐完善爬虫的抓取功能。
我们使用python 3.x作为我们的开发语言,有一点python的基础就可以了。 首先我们还是从最基本的开始。
我们需要安装python,python的requests和BeautifulSoup库。我们用Requests库用抓取网页的内容,使用BeautifulSoup库来从网页中提取数据。
使用python的requests提供的get()方法我们可以非常简单的获取的指定网页的内容, 代码如下:
抓取到网页的内容后,我们要做的就是提取出我们想要的内容。在我们的第一个例子中,我们只需要提取书名。首先我们导入BeautifulSoup库,使用BeautifulSoup我们可以非常简单的提取网页的特定内容。
到目前为止,我们已经可以抓取单个网页的内容了,现在让我们看看如何抓取整个网站的内容。我们知道网页之间是通过超链接互相连接在一起的,通过链接我们可以访问整个网络。所以我们可以从每个页面提取出包含指向其它网页的链接,然后重复的对新链接进行抓取。
我们的第一个网络爬虫就已经开发完成了。它可以抓取豆瓣上的所有图书,但也有很多局限性,毕竟它只是我们的第一个小玩具。
pytyhon学习资料
python学习资料