http://tool.motoricerca.info/robots-checker.phtml
此robots.txt分析是由意大利非營利性的意大利的網站優化和搜索引擎公司 Motoricerca 的,
不過要注意,使用這個工具,要把robots.txt裏的漢字註釋清除,它不能識別漢字;如果有漢字就不認爲是一個有效的robots.txt文件。
如果Robots文件驗證通過的話,一般會顯示以下結果:
Analyzing file http://www.XXX.com/robots.txt No errors found in this robots.txt file Hide empty and comments lines: The following block of code DISALLOWS the crawling of the following files and directories: /inc/ to all spiders/robots. Line 1 # robots.txt for www.XXX.com Line 2 User-agent: * Line 3 Disallow: /inc/
另外,Google網站管理員工具也可以在線驗證robots文件,Google是支持中文註釋的。
登錄到 Google 網站管理員工具後, 在"控制檯"中,點擊所需網站的網址,點擊工具,然後點擊分析 robots.txt就行。