Scrapy是純Python開發的一個高效,結構化的網頁抓取框架;
Scrapy是一個爲了爬取網站數據,提取結構性數據而編寫的應用框架。 其最初是爲了頁面抓取 (更確切來說, 網絡抓取 )所設計的,也可以應用在獲取API所返回的數據(例如 Amazon Associates Web Services ) 或者通用的網絡爬蟲。 Scrapy用途廣泛,可以用於數據挖掘、監測和自動化測試 Scrapy使用了Twisted 異步網絡庫來處理網絡通訊。
下面介紹一下scrapy框架的安裝。
1.Windows下直接安裝
-
1.移步 下載 裏面找到
Twisted: an event-driven networking engine.
- 2.看一下自己的python的版本,如果你知道的話就請跳過這一步
在cmd中輸入python,查看python版本
我的是3.6.1,所以我要下載3.6版本的Twisted即可。
- 3.版本的解釋
根據自己的情況下載對應的版本
- 4.安裝
在cmd中輸入 pip install D:\Twisted-20.3.0-cp36-cp36m-win_amd64.whl
注意:D:\Twisted-20.3.0-cp36-cp36m-win_amd64.whl 是我下載的這個文件安裝位置,根據自己情況安裝。
- 5.安裝scrapy
pip install scrapy
2.annaconda 下安裝
1.安裝conda
conda舊版本 下載地址
- 安裝scrapy
conda install scrapy
3.linux下安裝
- 您需要安裝這些依賴項:
sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
- 如果你想在python3上安裝scrapy,你還需要Python3的開發頭文件:
sudo apt-get install python3-dev
- 在virtualenv中,你可以使用pip安裝Scrapy:
pip install scrapy