配圖本來計劃選擇一種爬蟲的，可是看到百度搜到的圖片好惡心，所以作罷，還是還原網絡世界真實的爬蟲。
爬蟲應該是隨着搜索引擎技術出現的。爬蟲技術主要是用來抓取萬維網網頁內容的主要技術，被爬到的網頁會被收錄進入搜索引擎。一般情況下，企業作爲門戶網站的話是非常希望爬蟲爬到，然後收錄進去，這樣用戶搜索的時候就會被顯示出來，一方面隨着搜索技術飛速發展，www業務飛速發展，各種各樣的爬蟲，***到互聯網中，爬蟲對於某些網站來說是一種流量的浪費。比如某寶是堅決不讓某度來爬取的，一方面是要保障流量來源，另一方面要保障流量正常，因爲www網站中惡意爬蟲會影響正常流量訪問。
於是robots協議應運而生。
“引用”Robots協議（也稱爲爬蟲協議、機器人協議等）的全稱是“網絡爬蟲排除標準”（Robots Exclusion Protocol），網站通過Robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。
防止spider任意抓取：（禁止任何爬蟲進行抓取網站的任何目錄）
spider user-agent：*
disallow：/
這些規則是支持正則的，所以會非常靈活。對於業務型的頁面可以設置爲不可被抓取。
還有一點最重要的：就是要相識的robots協議生效，就必須web訪問的時候可以訪問到robots.txt，並且robots位於網站的根目錄下。例如：
www.taobao.com/robots.txt就可以看到淘寶的robots協議。
最後一點，如果你不想要在實名網站留下一些huai的證據，那麼也不要寄希望於網站禁止爬蟲，那麼請注意保持良好的上網行爲。
支付寶-打賞：
微信-打賞：
