本人是个爬虫小白刚刚开始学习,写这个博客仅仅是为了给自己做个笔记,方便记忆,希望大家不喜勿喷。
Scrapy认知:
scrapy是一个python开发的快速的高层次的web数据抓取框架,可以用来抓取结构化的数据,可以用于数据挖掘、检测与自动化测试,这里我只写爬虫方面的知识。
Scrapy安装:
第一步:打开pycharm
第二步:(大家注意看昂,这是个送分儿题)点击pycharm下面的Teminal,输入“pip install -i https://pypi.douban.com/simple/ scrapy”,有的人会问加这个网址做啥的,这个可以让你安装scrapy这个框架更快,当然如果对自己的网速有信心可以直接pip install scrapy。
第三步:回车等他安装完了就行了,如果失败了重新安装一次。