Scrapy的基礎概念
scrapy 是一個爲了爬取網站數據，提取結構性數據而編寫的應用框架，我們只需要實現少量代碼，就能夠快速的抓取到數據內容。Scrapy 使用了 Twisted['twɪstɪd](其主要對手是Tornado)異步網絡框架來處理網絡通訊，可以加快我們的下載速度，不用自己去實現異步框架，並且包含了各種中間件接口，可以靈活的完成各種需求。
Scrapy安裝介紹
Scrapy的安裝有多種方式，它支持Python2.7版本及以上或Python3.3版本及以上。下面說明Python3環境下的安裝過程。
Scrapy依賴的庫比較多，至少需要依賴的庫有Twisted 14.0，lxml 3.4，pyOpenSSL .014。而在不同平臺環境又各不相同，所以在安裝之前最好確保把一些基本庫安裝好，尤其是Windows。
Anaconda
這種方法是比較簡單的安裝Scrapy的方法（尤其是對Windows來說），你可以使用該方法安裝，也可以選用下文的專用平臺安裝方法。
Anaconda是包含了常用的數據科學庫的Python發行版本，如果沒有安裝，可以點擊<Anaconda的安裝方法>參考教程安裝軟件。
如果已經安裝，那麼可以輕鬆地通過conda命令安裝Scrapy。
安裝命令如下：
conda install Scrapy
Windows
- 安裝lxml
最好的安裝方式是通過wheel文件來安裝，http://www.lfd.uci.edu/~gohlke/pythonlibs/，從該網站找到lxml的相關文件。假如是Python3.5版本，WIndows 64位系統，那就找到lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl 這個文件並下載，然後通過pip安裝。
下載之後，運行如下命令安裝（後面的命令是文件名，其他版本替換文件名即可）：
pip3 install wheel
pip3 install lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl
- 安裝zope.interface
到官方網站https://pypi.python.org/pypi/zope.interface#downloads下載對應版本的wheel文件，然後pip安裝。比如Python 3.5版本，Windows 64位系統，就下載zope.interface-4.3.3-cp35-cp35m-win_amd64.whl。
然後安裝wheel文件即可，命令如下（後面的命令是文件名，其他版本替換文件名即可）：
pip3 install zope.interface-4.3.3-cp35-cp35m-win_amd64.whl
- 安裝pyOpenSSL
去官方網站下載wheel文件，https://pypi.python.org/pypi/pyOpenSSL#downloads，如當前最新版本名稱是pyOpenSSL-16.2.0-py2.py3-none-any.whl，下載後安裝即可。
安裝命令如下（後面的命令是文件名，其他版本替換文件名即可）：
pip3 install pyOpenSSL-16.2.0-py2.py3-none-any.whl
- 安裝Twisted
去官方網站下載wheel文件，http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下載wheel文件，利用pip安裝即可。
如Python 3.5版本，Windows 64位系統，下載Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl，然後pip安裝。
安裝命令如下（後面的命令是文件名，其他版本替換文件名即可）：
pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl
- 安裝pywin32
從官方網站 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下載對應版本的安裝包安裝即可。
- 安裝Scrapy
最後安裝Scrapy即可，依然使用pip，命令如下：
pip3 install Scrapy
Scrapy測試
我們到底有沒有安裝完成呢，去驗證一下就好了。
輸入scrapy命令測試：
scrapy
如果安裝成功會出現以下信息：
