什麼是robots協議？
robots文件，簡單的來說就是給網站做一個權限清單，一般是針對做SEO優化的。在這個文件中寫上哪些文件、哪些形式的鏈接允許搜索引擎抓取，哪些不允許。
robots文件常用寫法：
User-agent: * Disallow:/*?*
robots協議放在哪裏？
在網站還沒有完全做好的時候，不想讓搜索引擎收錄，可以通過這個文件屏蔽搜索引擎。就像QQ你隱身了別人就看不到你。
這個文件的名字就是robots.txt，是固定的，不管哪個網站要放這個文件。一般我們會把robots.txt放到站點根目錄下。
robots協議如何屏蔽搜索引擎？
robots.txt是一個記事本文件，只要在裏面寫上如下內容就可以實現屏蔽功能。User-agent: *Disallow:/
如何寫robots.txt
最簡單的這樣寫就行了。User-agent: *Disallow: /wp-*#Allow: /wp-content/uploads/Disallow: /*.php$Disallow: /*.inc$Disallow: /*.js$Disallow: /*.css$Disallow: /s=
robots.txt的寫法及規則
User-agent: * 這裏的*代表的所有的搜索引擎種類，*是一個通配符Disallow: /admin/ 這裏定義是禁止爬尋admin目錄下面的目錄Disallow: /require/ 這裏定義是禁止爬尋require目錄下面的目錄Disallow: /ABC/ 這裏定義是禁止爬尋ABC整個目錄Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"爲後綴的URL(包含子目錄)。Disallow: /*?* 禁止訪問網站中所有的動態頁面Disallow: /jpg$ 禁止抓取網頁所有的.jpg格式的圖片Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html文件。Allow: /cgi-bin/ 這裏定義是允許爬尋cgi-bin目錄下面的目錄Allow: /tmp 這裏定義是允許爬尋tmp的整個目錄Allow: .htm$ 僅允許訪問以".htm"爲後綴的URL。Allow: .gif$ 允許抓取網頁和gif格式圖片robots.txt文件用法舉例
品略圖書館 http://www.pinlue.com/