本文講訴的基於一個python3的虛擬環境下安裝和使用scrapy
虛擬環境下安裝scrapy
- 安裝python3， 也可以同時安裝python2，一起使用
- 創建一個虛擬環境叫python3text ，mkvirtualenv –python=C:\Users\Administrator\AppData\Local\Programs\Python\Python35\python.exe python3text
不懂的虛擬環境創建，可以參考我的python-虛擬環境的安裝和配置這篇文章對虛擬環境的安裝和使用。 - 創建虛擬環境的時候會自動進入虛擬環境，也可以手動進入 workon python3text
- 進入到虛擬環境安裝scrapy
pip install -i https://pypi.doubanio.com/simple/ scrapy
上面的語句中使用了豆瓣源，可以加速下載，安裝的時候會出錯如圖：
可以到這個網站下載對應的安裝包
下載完了之後，到自己對應的下載目錄下安裝包：
安裝成功之後，再繼續執行：
pip install -i https://pypi.doubanio.com/simple/ scrapy
進行安裝scrapy，安裝的時候出錯就到這個網站下載對應的安裝包，進行安裝就可以了。 - 來查看是否安裝成功：
pip list
簡單使用scrapy進行項目的搭建
- 創建一個scrapy項目：
scrapy startproject first_project - “` cd first_project
scrapy genspider jobbole blog.jobbole.com #進入到目錄下，創建jobbole的爬蟲（spider)
scrapy list #查看spider的名字，
3.
scrapy crawl jobbole #運行名叫jobbole的spider“`
4.運行的時候，在windows下會出現錯誤：
缺少一個包，我們進行安裝：
pip install -i https://pypi.douban.com/simple/ pypiwin32 安裝命令
5. 重新運行我們的spider，即可運行成功。