javaraylu 2012-06-19
Scrapy版本0.14.4
出现问题现象:
ERROR: Error downloading <GET http://xxxxx CRC check failed
解决方法
1.设置网络请求时的header中的属性'Accept-Encoding': '*;q=0'
明确表示不支持任何形式的压缩格式,避免程序的解压缩操作
这个方法不一定有效,具体根据服务器的返回情况。如果服务器忽略此属性则此方法无效。
2.重新安装scrpay,下载当前版本的一个分支。
参考https://github.com/scrapy/scrapy/pull/109
分支地址:https://github.com/redapple/scrapy/tree/http11/scrapy
其实就是扩展了http1.1的DOWNLOAD_HANDLERS
注:此扩展需要Twisted-12.1.0的版本 Twisted-12.0.0的版本会提示找不到HTTPConnectionPool