Python Urllib2使用:代理及其它

CandyGL 2013-02-17

 Python Urllib2使用

 

我们先看下Python对于Urllib2的解释:

urllib2:An extensible library for opening URLs using a variety of protocols
The urllib2(http://docs.python.org/2/library/urllib2.html) module defines functions and classes which help in opening URLs (mostly HTTP) in a complex world — basic and digest authentication, redirections, cookies and more.

 

简单的说,urllib2就是简单版本的HttpClient,能够处理HTTP请求,我们先看下urllib2提供的功能:

urllib2.urlopen(url[, data][, timeout])

请求url,获得请求数据,url参数可以是个String,也可以是个Request参数

要熟悉Python的这种参数表达方式,[]表示可选项,这种表示方法简单清楚,描述方式相当不错。

没有data参数时为GET请求,设置data参数时为POST请求,另外data格式必须为application/x-www-form-urlencoded,urllib.urlencode()能够设置请求参数的编码

timeout设置请求阻塞的超时时间,如果没有设置的话,会使用全局默认timeout参数;该参数只对HTTP、HTTPS、FTP生效

class OpenerDirector

管理一系列的Handler,这些handler都有自己的功能实现和协议,后面会提到大量的Handler功能

 

urllib2.build_opener([handler, ...])

返回OpenerDirector实例,实现了BaseHandler都可以生成Handler实例。Python已经内建许多的Handler,你可以替换或者添加新的Handler。

 

内建Handler如下:

ProxyHandler:处理代理操作
UnknownHandler:Raise URLError异常
HTTPHandler:处理HTTP的GET和POST操作
HTTPDefaultErrorHandler:处理HTTP Error的通用处理,所有的响应都会抛出HTTPError异常
HTTPRedirectHandler:处理HTTP重定向操作,如301、302、303等和HEAD请求的307都会执行重定向操作
FTPHandler:处理FTP操作
FileHandler:处理文件
HTTPErrorProcessor:处理非200异常

 

除去上面这些Handler,urllib2还有一些其它的Handler可供选择,这些Handler都能根据名称知晓其功能,不细作解释,包括但不仅限于:

HTTPCookieProcessor:处理cookie
HTTPBasicAuthHandler:处理Auth
ProxyBasicAuthHandler:处理Proxy和Auth
HTTPDigestAuthHandler:处理DigestAuth
ProxyDigestAuthHandler:处理ProxyDigest
HTTPSHandler:处理HTTPS请求
CacheFTPHandler:比FTPHandler多点功能。

 

看下urllib2对于opener的使用:

urllib2.install_opener(opener)

定义全局的OpenerDirector,如果执行这个方法,会把自己定义的Handler用在后续的URL处理上。

 

 

Urllib2的异常定义:

urllib2.URLError:
urllib2.HTTPError:

这两个异常都是IOError的子类,对于Python的异常定义,大家都不是很满意,在urllib2中也不例外。

 

在上面提到urlopen的参数Request,这个Request类能更加丰富请求的内容:

class urllib2.Request(url[, data][, headers][, origin_req_host][, unverifiable])

origin_req_host应该是请求的服务器Host地址,unverifiable参数表明请求是否可验证

 

urllib2的主要类和方法就这么多了,看起来还是很好入手的,下面我们来直接使用下urllib2,例程包括但不限于官网:

import urllib2
f = urllib2.urlopen('http://www.python.org/')
print f.read(100)

这个用法最简单,直接使用即可,对于大部分的url请求都可以使用这个方法。

 

 

import urllib2
req = urllib2.Request(url='https://localhost/cgi-bin/test.cgi',data='Committed Data')
f = urllib2.urlopen(req)
print f.read()

使用Request参数来发送请求。

 

 

使用Request来进行更复杂的操作:

import urllib
import urllib2
url = 'http://www.server.com/cgi-bin/register.cgi'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values = {'name' : 'Michael','language' : 'Python' }
headers = { 'User-Agent' : user_agent }
data = urllib.urlencode(values)
req = urllib2.Request(url, data, headers)
f = urllib2.urlopen(req)
print f.read()

我们使用Request对象,设定了user_agent,对于某些Header需要注意,Server或者应用会对这些值做检查。

在使用 REST 接口时,Server 会检查Content-Type字段,用来确定 HTTP Body 中的内容该怎样解析。

常见的取值有:

application/xml :在 XML RPC,如 RESTful/SOAP 调用时使用
application/json :在 JSON RPC 调用时使用
application/x-www-form-urlencoded :浏览器提交 Web 表单时使用

 

 

Handler中有处理Redirect的handler,如果想确认是否跳转,确认下response的url是否和请求url一致即可。

 

import urllib2
request_url = "http://www.google.copm"
response = urllib2.urlopen(request_url)
redirected = response.geturl() == request_url

如果不想自动Redirect,或者想在Redirect过程中添加些自己的动作,可以通过下面两种途径完成:

1:使用更低层次的httplib

2:使用自定义的HTTPRedirectHandler

 

Proxy的使用相当广泛,对于单个应用来说,爬虫是很容易被封禁,如果使用Proxy模式,就能降低被封的风险,所以有需求的同学需要仔细看下Python urllib2对于Proxy的使用:

 

import urllib2
proxy_handler = urllib2.ProxyHandler({'http': '127.0.0.1:80'})
opener = urllib2.build_opener(proxy_handler)
urllib2.install_opener(opener)
f = urllib2.urlopen('http://www.google.com')
print f.read()

注意这个Proxy会将proxy_handler作为全局的ProxyHandler,这个未必是我们需要的,如果我们需要使用不同的Proxy,这个设置就有问题,需要修改为以下Proxy使用方式:

 

import urllib2
proxy_handler = urllib2.ProxyHandler({'http': '127.0.0.1:80'})
opener = urllib2.build_opener(proxy_handler)
f = opener.open(url)
print f.read()

 

对于cookie的处理也是有Handler自动处理的:

 

import urllib2
import cookielib
cookies = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookies))
response = opener.open('http://www.google.com')
for cookie in cookies:
    if cookie.name == 'cookie_spec':
        print cookie.value

处理cookie是一般是cookielib和HTTPCookieProcessor一起使用

 

使用Basic HTTP Authentication

import urllib2
auth_handler = urllib2.HTTPBasicAuthHandler()
auth_handler.add_password(realm='PDQ Application',
                          uri='https://mahler:8092/site-updates.py',
                          user='klem',
                          passwd='kadidd!ehopper')
opener = urllib2.build_opener(auth_handler)
urllib2.install_opener(opener)
f = urllib2.urlopen('http://www.server.com/login.html')
print f.read()

 

debug log level使用

import urllib2
httpHandler = urllib2.HTTPHandler(debuglevel=1)
httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
opener = urllib2.build_opener(httpHandler, httpsHandler)
urllib2.install_opener(opener)
response = urllib2.urlopen('http://www.google.com')

可以看到urllib2抓包时打印的内容,方便调试分析。

 

最后还有一点,使用urllib2.urlopen()时,urllib2有实际发送请求和获取响应吗?那么read()函数又进行了哪些操作呢?http://stackoverflow.com/questions/3009144/does-urllib2-urlopen-actually-fetch-the-page/3009697#3009697 。这篇文章能够很好的解决你心中的疑惑,大家仔细阅读下。

 

urllib2的使用就暂时到这里,其实urllib2已经给我们提供了基础的内容使用,对于扩展功能,也有很好的框架可以扩展;对于我们来说已经能够很好的进行工作啦。如果说这些功能还不能满足要求或者扩展也不能实现时,你只能使用httplib,或者自己实现并贡献python代码,相信对于技术提升还是很明显的。

最后还有一点,Python官方也提供了urllib2的源码,大家如果有什么不明白的地方,源码的准确性总是第一位的,源码的地址见这里:http://hg.python.org/cpython/file/2.7/Lib/urllib2.py。  没事翻翻Python的源码,对于Python本身的知识积累也是不错的。

 

相关推荐