python爬虫之pyquery学习

学习编程 2018-03-09

相关内容：

  • pyquery的介绍
  • pyquery的使用
    • 安装模块
    • 导入模块
    • 解析对象初始化
    • css选择器
    • 在选定元素之后的元素再选取
    • 元素的文本、属性等内容的获取
  • pyquery执行DOM操作、css操作
    • Dom操作
    • CSS操作
  • 一个利用pyquery爬取豆瓣新书的例子

首发时间：2018-03-09 21:26

pyquery的介绍

  • pyquery允许对xml、html文档进行jQuery查询。
  • pyquery使用lxml进行快速xml和html操作。
  • pyquery是python中的jquery

PyQuery的使用：

1.安装模块：

pip3 install pyquery

2.导入模块:

from pyquery import PyQuery as pq

3.解析对象初始化：

【使用PyQuery初始化解析对象,PyQuery是一个类，直接将要解析的对象作为参数传入即可】

  • 解析对象为字符串时字符串初始化 ：默认情况下是字符串，如果字符串是一个带http\https前缀的，将会认为是一个url 
    textParse = pq(html)
  • 解析对象为网页时url初始化: 建议使用关键字参数url= 
    # urlParse = pq('http://www.baidu.com') #1
urlParse = pq(url='http://www.baidu.com') #
  • 解析对象为文件时文件初始化：建议使用关键字参数filename= 
    fileParse = pq(filename="L:\demo.html")
  • 解析完毕后，就可以使用相关函数或变量来进行筛选，可以使用css等来筛选，

4.CSS选择器：

  • 利用标签获取： 
    result = textParse('h2').text()
  • 利用类选择器： 
    result3=textParse(".p1").text()
  • 利用id选择： 
    result4=textParse("#user").attr("type")
  • 分组选择： 
    result5=textParse("p,div").text()
  • 后代选择器： 
    result6=textParse("div a").attr.href
  • 属性选择器： 
    result7=textParse("[class='p1']").text()
  • CSS3伪类选择器： 
    result8=textParse("p:last").text()

（更多的，可以参考css）

5.在选定元素之后的元素再选取:

  • find():找出指定子元素 ,find可以有参数，该参数可以是任何 jQuery 选择器的语法，
  • filter():对结果进行过滤，找出指定元素 ,filter可以有参数，该参数可以是任何 jQuery 选择器的语法，
  • children():获取所有子元素，可以有参数，该参数可以是任何 jQuery 选择器的语法，
  • parent():获取父元素，可以有参数，该参数可以是任何 jQuery 选择器的语法，
  • parents():获取祖先元素，可以有参数，该参数可以是任何 jQuery 选择器的语法，
  • siblings():获取兄弟元素，可以有参数，该参数可以是任何 jQuery 选择器的语法，
from pyquery import PyQuery as pq

html="""
<html>
<head>
</head>
<body>
<h2>This is a heading</h2>
<p class="p1">This is a paragraph.</p>
<p class="p2">This is another paragraph.</p>
<div> 
123
<a id="a1" href="http://www.baidu.com">hello</a>
</div>
<input type="Button" >
<input id="user" type="text" >
</body>
"""

###初始化
textParse = pq(html)
# urlParse = pq('http://www.baidu.com') #1
# urlParse = pq(url='http://www.baidu.com') #2
# fileParse = pq(filename="L:\demo.html")

##获取
result = textParse('h2').text()
print(result)
result2= textParse('div').html()
print(result2)
result3=textParse(".p1").text()
print(result3)
result4=textParse("#user").attr("type")
print(result4)
result5=textParse("p,div").text()
print(result5)
result6=textParse("div a").attr.href
print(result6)
result7=textParse("[class='p1']").text()
print(result7)
result8=textParse("p:last").text()
print(result8)
result9=textParse("div").find("a").text()
print(result9)
result12=textParse("p").filter(".p1").text()
print(result12)
result10=textParse("div").children()
print(result10)
result11=textParse("a").parent()
print(result11)

6.元素的文本、属性等内容的获取：

attr(attribute):获取属性

result2=textParse("a").attr("href")

attr.xxxx:获取属性xxxx

result21=textParse("a").attr.href
result22=textParse("a").attr.class_
result23=textParse("a").attr.id_
result24=textParse("a").attr.value

text():获取文本，子元素中也仅仅返回文本

result1=textParse("a").text()

html():获取html,功能与text类似,但返回html标签python爬虫之pyquery学习

result3=textParse("div").html()

补充1：

元素的迭代：如果返回的结果是多个元素，如果想迭代出每个元素，可以使用items():

补充2：pyquery是jquery的python化，语法基本都是相通的，想了解更多，可以参考jquery。

pyquery执行DOM操作、css操作：

DOM操作：

add_class():增加class

remove_class():移除class

remove():删除指定元素

from pyquery import PyQuery as pq

html="""
<html>
<head>
</head>
<body>
<h2>This is a heading</h2>
<p id="p1" class="p1">This is a paragraph.</p>
<p class="p2">This is another paragraph.</p>
<div style="color:blue"> 
123
<a class="ca" href="http://www.baidu.com">hello</a>
</div>
<input type="Button" >
<input id="user" type="text" >
</body>
"""

textParse=pq(html)
textParse('a').add_class("c1")
print(textParse('a').attr("class"))

textParse('a').remove_class("c1")
print(textParse('a').attr("class"))

print(textParse('div').html())
textParse('div').remove("a")
print(textParse('div').html())

css操作：

  • attr()：设置属性
    • 设置格式：attr("属性名","属性值")
  • css()：设置css
    • 设置格式1:css("css样式","样式值")
    • 格式2：css({"样式1":"样式值","样式2":"样式值"})
from pyquery import PyQuery as pq

html="""
<html>
<head>
</head>
<body>
<h2>This is a heading</h2>
<p id="p1" class="p1">This is a paragraph.</p>
<p class="p2">This is another paragraph.</p>
<div style="color:blue"> 
123
<a class="ca" href="http://www.baidu.com">hello</a>
</div>
<input type="Button" >
<input id="user" type="text" >
</body>
"""

textParse=pq(html)
textParse('a').attr("name","hehe")
print(textParse('a').attr("name"))

textParse('a').css("color","white")
textParse('a').css({"background-color":"black","postion":"fixed"})
print(textParse('a').attr("style"))

这些操作什么时候会被用到：

【有时候可能会将数据样式处理一下再存储下来，就需要用到,比如我获取下来的数据样式我不满意，可以自定义成我自己的格式】

【有时候需要逐层清理再筛选出指定结果，比如<div>123<a></a></div>中，如果仅仅想要获取123就可以先删除<a>再获取】

一个利用pyquery爬取豆瓣新书的例子:

先使用审查元素,定位目标元素

确认爬取信息

要注意的是，豆瓣新书是有一些分在后面页的，实际上目标应该是li的上一级ul：

使用PyQuery筛选出结果：

from pyquery import PyQuery as pq

urlParse=pq(url="https://book.douban.com/")

info=urlParse("div.carousel ul li div.info")

file=open("demo.txt","w",encoding="utf8")
for i in info.items():
    title=i.find("div.title")
    author=i.find("span.author")
    abstract=i.find(".abstract")
    file.write("标题:"+title.text()+"\n")
    file.write("作者:"+author.text()+"\n")
    file.write("概要:"+abstract.text()+"\n")
    file.write("-----------------\n")
    print("\n")
file.close()
学习编程

学习编程

相关推荐

基于xpath选择器、PyQuery、正则表达式的格式清理工具详解

finnaxu / 0评论 2020-09-04

scrapy爬虫部分

yield scrapy.Request(url=original_url,callback=self.parse_info,dont_filter=True#防止parse_info不回调,meta={‘management_info‘:manageme

javaraylu / 0评论 2020-05-05

Python中类似于jquery的pyquery库用法分析

本文实例讲述了Python中类似于jquery的pyquery库用法。分享给大家供大家参考，具体如下：。pyquery使用lxml执行快速的xml和html操作。这并非一个生成javascript代码或者与javascript代码做交互的库。pyquery

LodbkMi / 0评论 2019-12-02

python中pyquery无法获取标签名的dom节点

前言作为一位正经的前端开发人员，在学习python的过程中，自然而然选择了pyquery这款解析器，毕竟和前端的jquery一样省去了很多学习的时间。但是在使用过程中发现一个问题，pyquery竟然无法像jquery一样很方便的去筛选dom节点。经过一番排

bistukey / 0评论 2019-06-28

python + request + pyquery[安装失败]

Python标准库里提供了httplib以及urllib、urllib2，但是学习了好几次，都没有记住。今天崔推荐了一个requests库，看了一下样例，几乎立即就会使用了，所以推荐给大家。可见urllib2确实不太容易使用。常用功能罗列如下，以便查询。Y

kevinweijc / 0评论 2013-09-28

Python学习，还在用正则或者bs4做爬虫吗？来试试css选择器吧

之前写的一些爬虫都是用的正则、bs4、xpath做为解析库来实现，如果你对web有所涉及，并且比较喜欢css选择器，那么就有一个更适合的解析库—— PyQuery。我们就用一个非常简单的小例子来看看css选择器做爬虫是怎么样的！安装完成后，运行 pip s

realitycss / 0评论 2018-12-07

Python爬虫神器PyQuery的使用方法

你是否觉得 XPath 的用法多少有点晦涩难记呢?你是否甚至还在苦苦研究正则表达式却因为少些了一个点而抓狂呢?你是否已经有了一些前端基础了解选择器却与另外一些奇怪的选择器语法混淆了呢?嗯，那么，前端大大们的福音来了，PyQuery 来了，乍听名字，你一定联

huang00 / 0评论 2017-05-27

Python爬虫PyQuery库基本用法入门教程

本文实例讲述了Python爬虫PyQuery库基本用法。分享给大家供大家参考，具体如下：。PyQuery库也是一个非常强大又灵活的网页解析库，如果你有前端开发经验的，都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择，PyQuery 是 Py

pdsert / 0评论 2018-08-04

python3解析库pyquery的深入讲解

pyquery是一个类似jquery的python库，它实现能够在xml文档中进行jQuery查询，pyquery使用lxml解析器进行快速在xml和html文档上操作，它提供了和jQuery类似的语法来解析HTML文档，支持CSS选择器，使用非常方便。-

sschencn / 0评论 2018-06-26

Python网络爬虫神器PyQuery的基本使用教程

pyquery库是jQuery的Python实现，能够以jQuery的语法来操作解析 HTML 文档，易用性和解析速度都很好，和它差不多的还有BeautifulSoup，都是用来解析的。相比BeautifulSoup完美翔实的文档，虽然PyQuery库的文

bigsec / 0评论 2018-02-03

Python实现抓取网页生成Excel文件的方法示例

本文实例讲述了Python实现抓取网页生成Excel文件的方法。分享给大家供大家参考，具体如下：。f.close();接下来就是用Notepad++打开gongsi.csv，然后转成ANSI编码格式，保存。更多关于Python相关内容感兴趣的读者可查看本站

cling00 / 0评论 2017-08-05

Python爬虫辅助利器PyQuery模块的安装使用攻略

C:\Python27>easy_install E:\python\pyquery-1.2.4.zip也可以直接在线安装：。C:\Python27>easy_install pyquerypyquery是一个类似jquery的python库，

qyf / 0评论 2016-04-24

在Python中使用cookielib和urllib2配合PyQuery抓取网页信息

刚才好无聊，突然想起来之前做一个课表的点子，于是百度了起来。刚开始，我是这样想的：在写微信墙的时候，用到了urllib2，那么就只剩下解析html了。发现一篇好文章，其中介绍到了pyQuery。pyQuery 是 jQuery 在 Python 中的实现，

lispython / 0评论 2015-04-25

Python中的jquery PyQuery库使用小结

from pyquery import PyQuery as pq1、可加载一段HTML字符串，或一个HTML文件，或是一个url地址，例：代码如下：。print d('p').html()# 返回test 1注意：当获取到的元素不只一个时，html()、

Python探路者 / 0评论 2014-05-13

python使用urllib模块和pyquery实现阿里巴巴排名查询

urllib基础模块的应用，通过该类获取到url中的html文档信息，内部可以重写代理的获取方法

pythoncream / 0评论 2014-01-16

芝麻HTTP：TXT文本存储

将数据保存到TXT文本的操作非常简单，而且TXT文本几乎兼容任何平台，但是这有个缺点，那就是不利于检索。所以如果对检索和数据结构要求不高，追求方便第一的话，可以采用TXT文本存储。本节中，我们就来看下如何利用Python保存TXT文本文件。

北美码农的包子铺 / 0评论 2018-02-28