Scrapy环境搭建

1 需要安装的环境

(1)Python3.6
(2)PyCharm
(3)Twisted
(4)scrapy
(5)pypiwin32
注:
https://pan.baidu.com/s/1nxfhrkc_UeOfDzRDTc2c0Q#list/path=%2Fscrapy%E7%8E%AF%E5%A2%83%E6%90%AD%E5%BB%BA

这里面包含了python3.6安装包,pycharm安装包,以及Twisted

python比较简单请自行百度
pycharm安装好后需要破解,请参考https://blog.csdn.net/u014044812/article/details/78727496
Twisted后面会说到

2开始安装

(1)pip下载源修改
安装好python之后,我们需要修改pip下载的镜像源(因为默认的是国外镜像源,pip安装模块,经常会出现超时现象)
这里写图片描述
(2)安装Twisted
打开cmd,将下载好的Twisted拖到cmd中并在前面加上命令pip install
这里写图片描述
(3)安装scrapy
在cmd中直接输入pip install scrapy即可
安装好之后,可以通过下边两种方式,查看是否安装成功:
这里写图片描述
这里写图片描述
(4)安装pypiwin32
在cmd中输入pip install pypiwin32

3 测试

(1)目标网站
这里以http://scitech.people.com.cn/GB/1057/index.html为例(如有侵权,请联系博主)
网页部分源代码:
这里写图片描述
(2)创建scrapy项目
这里写图片描述
这里写图片描述
(3)创建爬虫
这里写图片描述
这里写图片描述
(4)pycharm打开scrapy项目
这里写图片描述
(5)编写爬虫
这里写图片描述
(6)结果
这里写图片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章