环境介绍: 本机操作系统为Win10(64-bit),Python 2.7.12(32-bit),以下所有的命令行操作,都在windows的CMD中进行(win+R 打开运行,输入 CMD,即可弹出命令窗口)
1.在安装Scrapy之前,先确保你已经安装了以下工具:
- Python2.7或以上
- pip和setuptools工具;目前Python2.7.9以后的版本都默认自带pip,setuptools的下载地址:http://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11.win32-py2.7.exe
- lxml.
- pyOpenSSL
- Zope.Interface
- Twisted
- w3lib
- libxml2
- Microsoft Visual C++ Compiler Package for Python 2.7 如已安装请忽略
详细的安装步骤,请参考文章Scrapy安装介绍
2.需要特别说明的是,lxml的安装可能会出现问题(我在这个问题上纠结了很久才解决),具体如下:
- 在安装lxml之前需要先安装libxml2,上面文章Scrapy安装介绍 给出的libxml2的安装地址有误,无法访问,可在http://xmlsoft.org/sources/win32/python/ 下载对应你Python版本的libxml2,然后双击进行安装
- 安装lxml时,请下载Windows Installer 安装版(点击此处) 进行安装. 建议win10系统用户采用这种方式,easy_install 或者 pip方式安装都会报出没有安装libxml2的错误(即使你已经安装了libxml2,亲历);另外,有建议使用Anaconda的Conda install lxml命令进行安装,但我也没能成功,原因不明
3.安装Scrapy
上述工具都安装完毕之后,在命令行中输入
pip install scrapy
即可开始安装scrapy.
安装完成后,在输入 scrapy 验证是否安装成功,出现以下命令,则说明Scrapy已安装成功.