環境介紹: 本機操作系統爲Win10(64-bit),Python 2.7.12(32-bit),以下所有的命令行操作,都在windows的CMD中進行(win+R 打開運行,輸入 CMD,即可彈出命令窗口)
1.在安裝Scrapy之前,先確保你已經安裝了以下工具:
- Python2.7或以上
- pip和setuptools工具;目前Python2.7.9以後的版本都默認自帶pip,setuptools的下載地址:http://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11.win32-py2.7.exe
- lxml.
- pyOpenSSL
- Zope.Interface
- Twisted
- w3lib
- libxml2
- Microsoft Visual C++ Compiler Package for Python 2.7 如已安裝請忽略
詳細的安裝步驟,請參考文章Scrapy安裝介紹
2.需要特別說明的是,lxml的安裝可能會出現問題(我在這個問題上糾結了很久才解決),具體如下:
- 在安裝lxml之前需要先安裝libxml2,上面文章Scrapy安裝介紹 給出的libxml2的安裝地址有誤,無法訪問,可在http://xmlsoft.org/sources/win32/python/ 下載對應你Python版本的libxml2,然後雙擊進行安裝
- 安裝lxml時,請下載Windows Installer 安裝版(點擊此處) 進行安裝. 建議win10系統用戶採用這種方式,easy_install 或者 pip方式安裝都會報出沒有安裝libxml2的錯誤(即使你已經安裝了libxml2,親歷);另外,有建議使用Anaconda的Conda install lxml命令進行安裝,但我也沒能成功,原因不明
3.安裝Scrapy
上述工具都安裝完畢之後,在命令行中輸入
pip install scrapy
即可開始安裝scrapy.
安裝完成後,在輸入 scrapy 驗證是否安裝成功,出現以下命令,則說明Scrapy已安裝成功.