[爬虫]Scapy

1.安装(任意系统): pip install scrapy

 Linux下有可能报:安装Scrapy   报错

Could not find a version that satisfies the requirement Twisted>=13.1.0 (from Scrapy) (from versions: )
No matching distribution found for Twisted>=13.1.0 (from Scrapy)

原因是没有安装Twisted

wget https://twistedmatrix.com/Releases/Twisted/17.1/Twisted-17.1.0.tar.bz2
tar -jxvf Twisted-17.1.0.tar.bz2
cd Twisted-17.1.0
python setup.py install
cd ..
pip install scrapy

 解压报错还需要安装:yum -y install bzip2

 也可以使用:pip install Twisted==17.1.0  (https://pypi.org/project/Twisted/17.1.0/)

注意:这里有一个大坑,就是无论怎样都装不进Twisted,一直报setuptools too old.想了很多方法,试过

pip install --upgrade pip
 pip install --upgrade setuptools

 发现都升级成功了,但是还是报错.然后查了一下pip的路径和version,发现是python3,那问题就出在python2和3的指向了.用python setup.py install,使用的是python2的,所以无论怎样更新,更新的都不是它.肯定报错了.这时

只需要使用python3 setup.py install,立马成功.

2.测试:Python下输入:

>>> import scrapy
>>> scrapy.version_info

输出(1, 5, 1),安装成功.

3.创建项目:

到你的项目路径下:

scrapy startproject example

4.数据信息:

在web页面任意item下右击审查元素可以看到其html信息

5.运行:

scrapy crawl books -o books.csv