html数据抽取方法对比

Python中常用的html数据抽取方法有正则、XPath和BeautifulSoup这三种。其中，最常用的XPath库是lxml。今天再介绍一个库SimplifiedDoc，一起比较一下他们的优劣。
1、安装

名称	安装方法	包大小	说明
正则	不需安装（内置）
lxml	pip install lxml	4.5MB	依赖c语言库
BeautifulSoup	pip install beautifulsoup4	107kB	如果不使用第三方库，则不需要别的安装
SimplifiedDoc	pip install simplified-scrapy	43kB	没有第三方依赖

2、Python版本支持
这几种方法都同时支持Python2和Python3。

3、使用方法
对正则和XPath的使用方法，这里就不重复了，只简单对比下BeautifulSoup和SimplifiedDoc。下面的代码展示了两者实例化及提取数据的方法。

html = '''
<html>
  <head>
    <title>Example Domain</title>
  </head>
  <body>
    <div id='test'>
      test text
    </div>
  </body>
</html>
'''
# 例子：http://www.jsphp.net/python/show-24-214-1.html
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,features='html.parser')
soup = BeautifulSoup(html,features='lxml')
title = soup.title
# 取所有
divs = soup.findAll(id='test')
divs = soup.select('div#test')
# 取第一个
div = soup.find(id='test')
div = soup.select_one('div#test')
print (div.text)

# 例子：https://github.com/yiyedata/simplified-scrapy-demo/tree/master/doc_examples
from simplified_scrapy import SimplifiedDoc
doc = SimplifiedDoc(html)
title = doc.title
# 取所有
divs = doc.getElements('div',attr='id',value='test')
divs = doc.selects('div#test')
# 取第一个
div = doc.getElement('div',attr='id',value='test')
div = doc.select('div#test')
print (div.text)

在使用方法上，有相似的地方，也有不同的地方，但是都挺简单的。这里特别提一下SimplifiedDoc中的getElement方法，每个方法中都有三个可选的参数start=None,end=None,before=None。使用这三个参数，可以帮助定位需要抽取的数据，在合适的时候，可以使抽取很方便。

4、性能对比
在处理速度上，对于正则，处理速度快，并且是有针对性的只处理需要的数据，所以比较公认的是处理速度最快的方式，但是使用起来相对困难。下面只对比lxml、BeautifulSoup、SimplifiedDoc这三种方式。对比代码如下：

from lxml import etree
from bs4 import BeautifulSoup
from simplified_scrapy import SimplifiedDoc
import time
html = '''
<!doctype html>
<html>
<head>
  <title>Example Domain</title>
  <meta charset="utf-8" />
  <meta http-equiv="Content-type" content="text/html; charset=utf-8" />
  <meta name="viewport" content="width=device-width, initial-scale=1" />
  <style type="text/css">
  body {
      background-color: #f0f0f2;
      margin: 0;
      padding: 0;
      font-family: -apple-system, system-ui, BlinkMacSystemFont, "Segoe UI", "Open Sans", "Helvetica Neue", Helvetica, Arial, sans-serif;
  }
  div {
      width: 600px;
      margin: 5em auto;
      padding: 2em;
      background-color: #fdfdff;
      border-radius: 0.5em;
      box-shadow: 2px 3px 7px 2px rgba(0,0,0,0.02);
  }
  a:link, a:visited {
      color: #38488f;
      text-decoration: none;
  }
  @media (max-width: 700px) {
      div {
          margin: 0 auto;
          width: auto;
      }
  }
  </style>
</head>
<body>
  <div>
    <h1>Example Domain</h1>
    <p>This domain is for use in illustrative examples in documents. You may use this
    domain in literature without prior coordination or asking for permission.</p>
    <p><a href="https://www.iana.org/domains/example">More information...</a></p>
  </div>
</body>
</html>
'''
start = time.time()
for i in range(0,1000):
  root = etree.HTML(html)
  text = root.xpath('//h1/text()')[0]
print (time.time()-start,text)
start = time.time()
for i in range(0,1000):
  soup = BeautifulSoup(html,features='html.parser')
  text = soup.h1.text
print (time.time()-start,text)
start = time.time()
for i in range(0,1000):
  soup = BeautifulSoup(html,features='lxml')
  text = soup.h1.text
print (time.time()-start,text)
start = time.time()
for i in range(0,1000):
  doc = SimplifiedDoc(html)
  text = doc.h1.html
print (time.time()-start,text)

使用VSCode测试对比结果如下：

名称	调试模式耗时（单位：秒）
lxml	0.10795402526855469
BeautifulSoup(html.parser)	2.5450849533081055
BeautifulSoup(lxml)	2.236968994140625
SimplifiedDoc	0.25988101959228516

名称	非调试模式耗时（单位：秒）
lxml	0.12264490127563477
BeautifulSoup(html.parser)	0.799994945526123
BeautifulSoup(lxml)	0.7144896984100342
SimplifiedDoc	0.14832687377929688

不管调试模式或非调试模式，lxml的速度是最快的，SimplifiedDoc第二，BeautifulSoup第三。其中有一个奇怪的地方不知道是怎么回事，非调试模式下较调试模式下速度都相对提高，lxml却是变慢了。
5、总结
lxml不负众望速度是除正则外最快的，小众的SimplifiedDoc速度挺快，使用方法也简单，值得大家试用一下。

名称	安装难度	使用难度	速度	包大小
正则	无（内置）	困难	最快	无
lxml	一般	一般	快	大
BeautifulSoup	简单	容易	慢	较小
SimplifiedDoc	简单	容易	较快	小

html数据抽取方法对比

相关推荐