Scrapy爬蟲架構安裝過程

水平有限,慢慢成長中。


環境:

win 8.1

python 2.7.11


官方的相關的指南,相對有些簡單:

http://scrapy-chs.readthedocs.org/zh_CN/0.24/intro/install.html#intro-install

注:紅色字體爲命令。


過程:

1 安裝下載python2.7

www.python.org(注意安裝的時候選擇將安裝目錄加入到系統路徑中)

2 安裝依賴插件

大於2.7.9的python2都帶有pip,2.7.11的pip默認版本是7.1.2,pip所依賴的東西也都安裝好了,比較簡單。

在CMD裏面輸入pip --version,可以查看pip的版本。

可以執行python -m pip install --upgrade pip更新一下pip。

從 http://sourceforge.net/projects/pywin32/安裝pywin32,確認下載符合您系統(win32或者amd64) 和python的版本,默認會是32位的。

如果下載了一個版本32/64提示找不到python的安裝目錄,可以嘗試換另一個版本。

下載後得到一個可執行程序。

3 通過pip安裝Scrapy

pip install Scrapy

安裝完成後,在命令行CMD裏面輸入Scrapy,成功則進入Scrapy程序。

運行Scrapy的結果:

wKioL1bXCqfg4VgxAAAj9iOi8eo789.png


可能遇到的問題:
1 提示ASCII codec can't decode.....
這是一個編碼之間的錯誤。


解決方法:在python安裝目錄裏面找到Lib/mimetypes.py  編輯器打開在代碼開頭的import下面寫入如下代碼(注意後兩句的縮進):
if sys.getdefaultencoding()!='gbk':
reload(sys)
sys.setdefaultencoding('gbk')
2 安裝中失敗,最後一句有“Unable to find vcvarsall.bat”或者“VC90”字眼的錯誤
主要是幾個輔助程序,如Twisted,需要編譯C文件導致的


解決方法:到這個地方下載相應文件安裝即可,本人電腦安裝的是VC2013,安裝過後沒有再報錯
https://www.microsoft.com/en-us/download/details.aspx?id=44266


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章