Python爬蟲入門之robots.txt文件

rrobots.txt（統一小寫）一般只robots協議，是一種存放於網站根目錄下的ASCII編碼的文本文件，簡單理解，通過它定義網站中哪些資源可以爬蟲程序獲取，哪些被禁止訪問。