Scrapy是纯Python开发的一个高效,结构化的网页抓取框架;
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的,也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。 Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试 Scrapy使用了Twisted 异步网络库来处理网络通讯。
下面介绍一下scrapy框架的安装。
1.Windows下直接安装
-
1.移步 下载 里面找到
Twisted: an event-driven networking engine.
- 2.看一下自己的python的版本,如果你知道的话就请跳过这一步
在cmd中输入python,查看python版本
我的是3.6.1,所以我要下载3.6版本的Twisted即可。
- 3.版本的解释
根据自己的情况下载对应的版本
- 4.安装
在cmd中输入 pip install D:\Twisted-20.3.0-cp36-cp36m-win_amd64.whl
注意:D:\Twisted-20.3.0-cp36-cp36m-win_amd64.whl 是我下载的这个文件安装位置,根据自己情况安装。
- 5.安装scrapy
pip install scrapy
2.annaconda 下安装
1.安装conda
conda旧版本 下载地址
- 安装scrapy
conda install scrapy
3.linux下安装
- 您需要安装这些依赖项:
sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
- 如果你想在python3上安装scrapy,你还需要Python3的开发头文件:
sudo apt-get install python3-dev
- 在virtualenv中,你可以使用pip安装Scrapy:
pip install scrapy