安裝 Scrapy 與安裝其他 Python 包沒有區別,同樣使用如下命令來安裝:
pip install scrapy
如果在命令行窗口中運行該命令,將會看到程序並不立即下載、安裝 Scrapy,而是不斷地下載大量第三方包。
如果在命令行窗口中提示找不到 pip 命令,則也可以通過 python 命令運行 pip 模塊來安裝 Scrapy,例如 python -m pip install scrapy
。
這是因爲 Scrapy 需要依賴、大量第三方包。典型的,Scrapy 需要依賴如下第三方包:
- pyOpenSSL:Python 用於支持 SSL(Security Socket Layer)的包。
- cryptography:Python 用於加密的庫。
- CFFI:Python 用於調用 C 的接口庫。
- zope.interface:爲 Python 缺少接口而提供擴展的庫。
- lxml:一個處理 XML、HTML 文檔的庫,比 Python 內置的 xml 模塊更好用。
- cssselect:Python 用於處理 CSS 選擇器的擴展包。
- Twisted:爲 Python 提供的基於事件驅動的網絡引擎包。
- ......
如果在 Python 環境下沒有這些第三方包,那麼 Python 會根據依賴自動下載並安裝它們。這個過程原本沒啥好講的,pip 通常會自動完成整個過程,我們只需要等待即可。但 pip 在自動下載、安裝 Twisted 時會提示以下錯誤:
error:Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools":http://landinghub.visualstudio.com/visual-cpp-build-tools
去下載 www.lfd.uci.edu/~gohlke/pythonlibs/ 站點,在該頁面中間查找“Twisted”項目
官網下不動 我這裏提供兩下載地址
Twisted-19.2.1-cp37-cp37m-win_amd64(官方文件).zip
Twisted-19.2.1-cp36-cp36m-win_amd64.whl
當前 Twisted 的最新版是 18.9.0,Twisted 爲 2.7、3.5、3.6、3.7 等不同版本的 Python 提供了對應的安裝包。由於本教程內容主要以 Python 3.6 爲主,因此應該下載 Twisted 的 Python 3.6 版本,其中文件名帶 win32 的是 32 位版本,而帶 win_amd64 的則是 64 位版本,此處還需要根據操作系統的位數選擇對應的版本。
在下載了合適的 Twisted 安裝包後,會得到一個 Twisted-18.9.0-cp36-cp36m-win_amd64.whl
文件(針對 64 位系統的),該文件就是 Twisted 安裝包。
運行如下命令來安裝 Twisted 包。 這裏cmd到文件目錄下
pip install Twisted-18.9.0-cp36-cp36m-win_amd64.whl
在安裝完成後,會提示如下安裝成功的信息:
Successfully installed Twisted-18.9.0
在成功安裝 Twisted 包之後,再次執行 pip install scrapy 命令,即可成功安裝 Scrapy。在安裝成功後,會顯示如下提示信息:
Successfully installed Scrapy-1.6.1
在成功安裝 Scrapy 之後,可以通過 pydoc 來查看 Scrapy 的文檔。在命令行窗口中輸入如下命令:
python -m pydoc -p 8899
運行上面命令之後,打開瀏覽器查看 http://localhost:8899/ 頁面,可以在 Python 安裝目錄的lib\site-packages
下看到 Scrapy 的文檔,如圖 所示。