最簡單的 Python Scrapy安裝

安裝 Scrapy 與安裝其他 Python 包沒有區別,同樣使用如下命令來安裝:

pip install scrapy

如果在命令行窗口中運行該命令,將會看到程序並不立即下載、安裝 Scrapy,而是不斷地下載大量第三方包。

如果在命令行窗口中提示找不到 pip 命令,則也可以通過 python 命令運行 pip 模塊來安裝 Scrapy,例如 python -m pip install scrapy

這是因爲 Scrapy 需要依賴、大量第三方包。典型的,Scrapy 需要依賴如下第三方包:

  • pyOpenSSL:Python 用於支持 SSL(Security Socket Layer)的包。
  • cryptography:Python 用於加密的庫。
  • CFFI:Python 用於調用 C 的接口庫。
  • zope.interface:爲 Python 缺少接口而提供擴展的庫。
  • lxml:一個處理 XML、HTML 文檔的庫,比 Python 內置的 xml 模塊更好用。
  • cssselect:Python 用於處理 CSS 選擇器的擴展包。
  • Twisted:爲 Python 提供的基於事件驅動的網絡引擎包。
  • ......


如果在 Python 環境下沒有這些第三方包,那麼 Python 會根據依賴自動下載並安裝它們。這個過程原本沒啥好講的,pip 通常會自動完成整個過程,我們只需要等待即可。但 pip 在自動下載、安裝 Twisted 時會提示以下錯誤:

error:Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools":http://landinghub.visualstudio.com/visual-cpp-build-tools

 去下載 www.lfd.uci.edu/~gohlke/pythonlibs/ 站點,在該頁面中間查找“Twisted”項目


Twisted 包的下載鏈接
 

官網下不動 我這裏提供兩下載地址

Twisted-19.2.1-cp37-cp37m-win_amd64(官方文件).zip

Twisted-19.2.1-cp36-cp36m-win_amd64.whl


當前 Twisted 的最新版是 18.9.0,Twisted 爲 2.7、3.5、3.6、3.7 等不同版本的 Python 提供了對應的安裝包。由於本教程內容主要以 Python 3.6 爲主,因此應該下載 Twisted 的 Python 3.6 版本,其中文件名帶 win32 的是 32 位版本,而帶 win_amd64 的則是 64 位版本,此處還需要根據操作系統的位數選擇對應的版本。

在下載了合適的 Twisted 安裝包後,會得到一個 Twisted-18.9.0-cp36-cp36m-win_amd64.whl 文件(針對 64 位系統的),該文件就是 Twisted 安裝包。

運行如下命令來安裝 Twisted 包。 這裏cmd到文件目錄下

pip install Twisted-18.9.0-cp36-cp36m-win_amd64.whl


在安裝完成後,會提示如下安裝成功的信息:

Successfully installed Twisted-18.9.0

在成功安裝 Twisted 包之後,再次執行 pip install scrapy 命令,即可成功安裝 Scrapy。在安裝成功後,會顯示如下提示信息:

Successfully installed Scrapy-1.6.1

在成功安裝 Scrapy 之後,可以通過 pydoc 來查看 Scrapy 的文檔。在命令行窗口中輸入如下命令:

python -m pydoc -p 8899

運行上面命令之後,打開瀏覽器查看 http://localhost:8899/ 頁面,可以在 Python 安裝目錄的lib\site-packages下看到 Scrapy 的文檔,如圖  所示。


Scrapy 的文檔

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章