如果你在学习爬虫, 那么爬下一两百个页面和爬下一二十万个页面的概念是完全不一样的. 如何爬下一二十万个页面? 多线程多进程全功率满速全天24小时工作! 总不能让自己的笔记本这么折腾吧. 把爬虫放在 云服务器 也是相当有意思的玩法.
同时如果你的爬虫对单个网站访问频率太高是不行的, 他会把你的ip禁止访问一段时间. 这时候多个云服务器同时爬就很有效果了, .
如果你也想用云服器来玩玩，那么楼主推荐你小鸟云，
现在有云服务器【十月拼团】活动，在活动时间内购买云服务器邀请亲朋友好友一起购买可以赢取最高12个月的免费时长和5M带宽！十分实惠，可以下手：
https://dwz.cn/WCeSYy9e