PyCharm安裝scrapy框架
一、系統環境說明：
操作系統：windows10 64位專業版；
python版本：python 3.5。
二、安裝準備：
1、安裝pip工具
2、下載並安裝Twisted（我的python版本是3.5的，所以對應的Twisted也要3.5的。根據個人的python版本號下載）。
下載地址：點擊下載Twisted
3、安裝Twisted
使用pip命令安裝下載的Twisted。
pip install Twisted-19.10.0-cp35-cp35m-win_amd64.whl
安裝成功後，會有提示：
3、安裝scrapy：
使用pip命令安裝：
pip install scrapy
如果使用上面的安裝比較慢，可以使用國內的豆瓣源：
pip install -i https://pypi.douban.com/simple scrapy
4、安裝完成後，在命令行下輸入：scrapy可以查看是否安裝成功。
5、安裝scrapy成功後，啓動項目時，可能會報錯“沒有win32模塊”，需要安裝pypiwin32模塊。
pip install pypiwin32
6、我們在F:\My_PyPro路徑下，創建一個ScrapyProject用作項目路徑。
使用 scrapy startproject 命令創建一個項目：
scrapy startproject my_spiders
7、配置PyCharm：
點擊安裝scrapy:
8、配置好之後，我們打開剛纔創建的my_spiders項目，如下圖所示：
scrapy.cfg: 項目的配置文件。
my_spiders/: 該項目的python模塊，之後將在此加入代碼。
my_spiders/items.py: 項目中的item文件，主要是創建爬蟲存儲的字段。
my_spiders/middlewares.py是中間件，主要是編寫下載中間件、Cookies中間件等。
my_spiders/pipelines.py: 項目中的pipelines文件，用來爬蟲後數據的處理（如存儲到CSV、存儲到數據庫等）。
my_spiders/settings.py: 項目的設置文件。
my_spiders/spiders/: 放置spider代碼的目錄。
9、使用命令創建一個測試腳本：
scrapy genspider baidu "http://www.baidu.com"
可以在PyCharm中看到我們創建的腳本文件：
10、運行腳本：
scrapy crawl baidu
本文原創作者：馮一川（[email protected]），未經作者授權同意，請勿轉載。如需獲取本程序源代碼和資源，歡迎發郵件與我聯繫。