史上最牛逼的scrapy的安裝教程

Scrapy是純Python開發的一個高效,結構化的網頁抓取框架;

Scrapy是一個爲了爬取網站數據,提取結構性數據而編寫的應用框架。 其最初是爲了頁面抓取 (更確切來說, 網絡抓取 )所設計的,也可以應用在獲取API所返回的數據(例如 Amazon Associates Web Services ) 或者通用的網絡爬蟲。 Scrapy用途廣泛,可以用於數據挖掘、監測和自動化測試 Scrapy使用了Twisted 異步網絡庫來處理網絡通訊。

下面介紹一下scrapy框架的安裝。

1.Windows下直接安裝

  • 1.移步 下載 裏面找到

    Twisted: an event-driven networking engine.

在這裏插入圖片描述

  • 2.看一下自己的python的版本,如果你知道的話就請跳過這一步

在cmd中輸入python,查看python版本

在這裏插入圖片描述
我的是3.6.1,所以我要下載3.6版本的Twisted即可。

  • 3.版本的解釋
    1590372345046.png

根據自己的情況下載對應的版本

  • 4.安裝

在cmd中輸入 pip install D:\Twisted-20.3.0-cp36-cp36m-win_amd64.whl

注意:D:\Twisted-20.3.0-cp36-cp36m-win_amd64.whl 是我下載的這個文件安裝位置,根據自己情況安裝。

  • 5.安裝scrapy

pip install scrapy

2.annaconda 下安裝

1.安裝conda
conda舊版本 下載地址

  1. 安裝scrapy conda install scrapy

3.linux下安裝

  • 您需要安裝這些依賴項:
    sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
  • 如果你想在python3上安裝scrapy,你還需要Python3的開發頭文件:
    sudo apt-get install python3-dev
  • 在virtualenv中,你可以使用pip安裝Scrapy:
    pip install scrapy
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章