反爬技术研究 — 网站是通过什么方式来发现爬虫的？

反爬技术研究 —— 网站是通过什么方式来发现爬虫的？

记录下目前已知的几种。

• 请求头header，user-agent：用scrapy编写时务必修改其默认值。
• 单一IP非常规的访问频次。
• 单一IP非常规的数据流量。
• 大量重复简单的网站浏览行为。
• 只下载网页，没有后续的js、css请求。
• chromedriver浏览器参数识别，跟安装的浏览器不一致。
• 通过设置一些陷阱来发现爬虫，例如一些通过CSS对用户隐藏的链接，只有爬虫才会访问到。
• 云端AI技术：分析用户行为

案例网站：

• 妈妈网：https://www.mama.cn/
• 辣妈帮：http://www.lamabang.com/
• 淘宝网：https://www.taobao.com/