Python3环境安装Scrapy爬虫框架过程及常见错误

Windows

•安装lxml

最好的安装方式是通过wheel文件来安装，http://www.lfd.uci.edu/~gohlke/pythonlibs/，从该网站找到lxml的相关文件。假如是Python3.5版本，WIndows 64位系统，那就找到lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl 这个文件并下载，然后通过pip安装。

下载之后，运行如下命令安装：

pip3 install wheel
pip3 install lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl

即可完成lxml的安装，其他文件替换文件名即可。

•安装zope.interface

到官方网站https://pypi.python.org/pypi/zope.interface#downloads下载对应版本的wheel文件，然后pip安装。比如Python 3.5版本，Windows 64位系统，就下载zope.interface-4.3.3-cp35-cp35m-win_amd64.whl。

然后安装wheel文件即可，命令如下：

pip3 install zope.interface-4.3.3-cp35-cp35m-win_amd64.whl

其他版本替换文件名即可。

•安装pyOpenSSL

官方网站下载wheel文件，https://pypi.python.org/pypi/pyOpenSSL#downloads，如当前最新版本名称是pyOpenSSL-16.2.0-py2.py3-none-any.whl，下载后安装即可。

pip3 install pyOpenSSL-16.2.0-py2.py3-none-any.whl

•安装Twisted

同理，http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载wheel文件，利用pip安装即可。

如Python 3.5版本，Windows 64位系统，下载

Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl，然后pip安装。

pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl

•安装pywin32

从官方网站 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下载对应版本的安装包安装即可。

•安装Scrapy

最后安装Scrapy即可，依然使用pip，命令如下：

pip3 install Scrapy


ps：下面看下Python 3.6 安装scrapy报错 Python.h: 没有那个文件或目录

安装scrapy的时候报错，其实这个错误是一个间接，由其依赖引起。

如果你是Python2.X  

sudo apt-get install python-dev

如果是python3.6 以下的

sudo apt-get install python3-dev

如果是Python3.6的

sudo apt-get install python3.6-dev

最后一个好变态,我一直在更新自己的Python3-dev 一直报错,最后猜一下竟然真的有Python3.6-dev...心累.

总结