爬蟲與發爬蟲的廝殺，一方爲了拿到數據，一方爲了防止爬蟲拿到數據，誰是最後的贏家？
重新理解爬蟲中的一些概念
爬蟲:自動獲取網站數據的程序
反爬蟲：使用技術手段防止爬蟲程序爬取數據
誤傷：反爬蟲技術將普通用戶識別爲爬蟲，這種情況多出現在封ip中，例如學校網絡、小區網絡再或者網絡網絡都是共享一個公共ip，這個時候如果是封ip就會導致很多正常訪問的用戶也無法獲取到數據。所以相對來說封ip的策略不是特別好，通常都是禁止某ip一段時間訪問。
成本：反爬蟲也是需要人力和機器成本
攔截：成功攔截爬蟲，一般攔截率越高，誤傷率也就越高
反爬蟲的目的
初學者寫的爬蟲：簡單粗暴，不管對端服務器的壓力，甚至會把網站爬掛掉了
數據保護：很多的數據對某些公司網站來說是比較重要的不希望被別人爬取
商業競爭問題：這裏舉個例子是關於京東和天貓，假如京東內部通過程序爬取天貓所有的商品信息，從而做對應策略這樣對天貓來說就造成了非常大的競爭
爬蟲與反爬蟲大戰
上有政策下有對策，下面整理了常見的爬蟲大戰策略
所有的努力都值得期許，每一份夢想都應該灌溉！