Windows10下安裝爬蟲框架scrapy

本萌在win10+Python3.6環境下使用pip命令安裝scrapy時報錯安裝失敗,遍尋解決方式最後終於成功,貼出我的解決方式供大家參考吧~~


具體步驟:(命令都是在cmd輸入的,後面就不再說明了)

1.pip安裝和升級

pip(http://pip.readthedocs.org/en/latest/)是用於管理Python共享代碼和庫的命令行工具,是開源軟件文化的一個重要組成部分。Windows上可能已經安裝了pip(Windows的Python安裝包自帶pip)。

①安裝

要檢查是否安裝了pip,你可以輸入命令:pip install ipython,如果系統報錯的話,去下載pip安裝腳本,然後執行下面的操作;如果沒有報錯直接進行②。

然後在cmd中輸入命令:chdir  C:\Users\YOURNAME\Downloads將目錄切換到Downloads文件夾(YOURNAME是計算機主目錄的名字,這一步就是切換到下載了pip的那個目錄),接下來輸入命令:python get get-pip.py來運行下載的文件。

這樣pip安裝工作就已經基本完成。

②升級

輸入命令:pip show pip可以查看pip的版本,如果不是最新版最後會有提示如下:

輸入命令:python -m pip install --upgrade pip可以升級pip到最新版本。

 

2.安裝pypiwin32

輸入命令:pip install pypiwin32

關於pypiwin32,官網的介紹是:Python extensions for Microsoft Windows Provides access to much of the Win32 API, the ability to create and use COM objects, and the Pythonwin environment.(Microsoft Windows的Python擴展提供對大部分Win32 API的訪問,創建和使用COM對象的能力以及Pythonwin環境。),所以不論電腦是32位還是64位都可以選擇安裝。

 

3.安裝Twisted

Twisted是用Python實現的基於事件驅動的網絡引擎框架。

①離線安裝方式:

下載twisted對應版本的whl文件(如我的下載的是:Twisted-18.7.0-cp36-cp36m-win_amd64.whl),cp後面是python版本,win32代表32位系統,win_amd64代表64位,文件位置放在當前cmd目錄下,輸入命令:pip install Twisted-18.7.0-cp36-cp36m-win_amd64.whl

whl文件下載地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/

②在線安裝方式:

直接輸入命令:pip install Twisted

我當時使用的是這種方式,但是安裝失敗報錯,缺少生成工具,需要安裝Microsoft Visual C++ Build Tools。

我先是下載了一個vc++2017(下載地址:https://aka.ms/BuildTools),但是安裝仍然報錯,我認爲是vc版本不兼容的問題,所以又下載幾個vc++2015的相關工具(下載地址:https://www.microsoft.com/zh-cn/download/confirmation.aspx?id=48145),神奇的是還是錯,我這暴脾氣= _ =不能慣着它,然後就放棄了這種方法(其實我還是不明白爲什麼會報錯,如果有大神知道可以在下面留言給我解釋解釋~),最後直接選擇上面方式①離線下載安裝完成。

如果你想試試這個方式,可以在下載地址官網上找到下面這個生成工具下載安裝,安裝時右邊可選欄中的win10sdk必須選上。

 

4.安裝scrapy

輸入命令:pip install scrapy

 


大功告成,Successfully installed PyDispatcher-2.0.5 cssselect-1.0.3 lxml-4.2.4 parsel-1.5.0 pyasn1-0.4.4 pyasn1-modules-0.2.2 scrapy-1.5.1 service-identity-17.0.0 w3lib-1.19.0,安裝成功。但還是有個小遺憾,就是生成工具的報錯問題還不知道是由什麼引起的,待我有空再查查吧~~

 

 

#本文由博主原創,轉載需註明!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章