Scrapy爬蟲框架的安裝步驟詳解

由於Scrapy使用Twisted作爲框架，因此應先安裝Twisted，再安裝Scrapy。下載地址https://www.lfd.uci.edu/~gohlke/pythonlibs/

下載Twisted和Scrapy對應的.whl文件

先將Twisted和Scrapy對應的.whl文件下載至本地（如：D:\Anaconda3\），然後在本地安裝。

安裝過程

1. 升級pip

python -m pip install --upgrade pip

2. 安裝wheel

pip install wheel

3. 安裝Twisted

pip install Twisted-20.3.0-cp37-cp37m-win_amd64.whl

注意：必須先進入D:\Anaconda3\

4. 安裝Scrapy

pip install Scrapy-2.1.0-py3-none-any.whl

注意：必須先進入D:\Anaconda3\

測試

scrapy -h

如果出現以下信息，表明scrapy安裝成功。