在web滲透過程中，前期的信息收集時，robots.txt是一個很重要的目錄，可以幫助我們查看網站的敏感路徑、敏感文件等，對於robots.txt，你知道多少呢？
robots.txt是一種協議，用來告訴搜索引擎，哪些文件可以爬取，哪些文件不能爬取。一般而言，搜索引擎都會遵循這個規則（個別與電子商務有關的國人公司除外）。
robots.txt使用介紹
在網站根目錄下創建一個文件，取名robots.txt，文件名必須是這個！然後設置裏面的規則。
比如我有一個OA辦公系統，我要設置不允許任何搜索引擎收錄本站。robots.txt中就設置如下兩行即可。
User-agent: *
Disallow: /
如果要限制不讓搜索引擎訪問我們後臺admin目錄，則規則改爲：
User-agent: *
Disallow: /admin/
robots.txt更多的使用規則，不在本文的討論範圍之內。
robots.txt防黑客
像上面的例子中，我們爲了讓搜索引擎不要收錄admin頁面而在robots.txt裏面做了限制規則。但是這個robots.txt頁面，誰都可以看，於是黑客就可以比較清楚的瞭解網站的結構，比如admin目錄啊、include目錄啊等等。
有沒有辦法既可以使用robots.txt的屏蔽搜索引擎訪問的功能，又不泄露後臺地址和隱私目錄的辦法呢？有，那就是使用星號（*）作爲通配符。舉例如下：
User-agent:
Disallow: /a*/
這個設置，禁止所有的搜索引擎索引根目錄下a開頭的目錄。當然如果你後臺的目錄是admin，還是有可以被人猜到，但如果你再把admin改爲admmm呢？還有會誰能知道？
總結下，爲了不讓搜索引擎索引網站的後臺目錄或其它隱私目錄，我們將這些路徑在robots.txt文件中禁用了。又爲了讓robots.txt中的內容不泄露網站的後臺和隱私，我們使用星號(*)來修改設置項。最後爲了不讓黑客猜到真實的路徑，我們可以把這些敏感的目錄進行非常規的重命名。