Scrapy的安裝

Scrapy的安裝

衆所周知，Scrapy 是一個高級的python爬蟲框架，功能極其強大，擁有它就可以快速編寫出一個爬蟲項目，擁有它就可以搭建分佈式架構。那麼，請問這麼強大的框架要怎麼擁有？很簡單，由於我只嘗試了Windows平臺下的安裝，所以下文也是該平臺下的安裝步驟。

Windows的安裝是比較常見的，相對其他兩種系統，在Windows下的安裝步驟比較繁瑣，但也不難（往下看，還有一種簡單的安裝方式）。只要在它安裝Scrapy之前，安裝幾個其他的依賴庫就行了。

第一個安裝的依賴庫是lxml ,命令是：

pip install lxml

第二個依賴庫是pyOpenSSL，這個庫的安裝步驟是這樣子的：

1.進入https://pypi.org/project/pyOpenSSL/#downloads 下載wheel文件；
2.在命令行窗口執行pip install (需要加上你下載文件的路徑名)\pyOpenSSL-18.0.0-py2.py3-none-any.whl

第三個依賴庫是Twisted庫，安裝步驟是：

1.進入http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted ，下載對應的版本

2.在命令行執行命令pip install Twisted‑xxx‑cpxx‑cpxxm‑win_amdxx.whl即可

第四個依賴庫是pywin32：

1.進入網址https://sourceforge.net/projects/pywin32/files/pywin32/Build%20221/ 下載對應的版本。

我的是python3.6，系統是64位的所以我下載了這個版本
2.雙擊exe文件安裝即可

以上我們的依賴庫就安裝好了，如果沒有出現問題就可以安裝Scrapy了，安裝Scrapy很簡單，只需要在命令行執行pip install scrapy，就可以擁有這個強大的框架了。

上面就介紹Windows平臺下的安裝方式之一（這個方式我不喜歡！），還有一種更簡單的安裝方式——Anaconda下的安裝。
如果你已經安裝了Anaconda 的話，那麼你只需要在命令行下執行conda intall Scrapy 就可以輕鬆地安裝了，爲什麼會這麼簡單呢？那是因爲Anaconda已經安裝好Scrapy 所需要的依賴庫了。

當然，還有其他平臺的安裝，步驟都纔不多，可以參考靜覓的博客，他寫得很詳細。

安裝好Scrapy後就可以開始簡單的學習了。