Python爬蟲學習日誌（2）
1.筆記
視頻課程
- 各種爬蟲的適用範圍
![在這裏插入圖片描述]()
- Robots 協議
http://www.jd.com/robots.txt
http://…/robots.txt 網站的根目錄
#註釋，代表所有，/代表根目錄
User-agent：
Disallow：/
類人行爲可不參考
2.重點
網絡爬蟲，“盜”亦有道！
Python爬蟲學習日誌（2）
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
視頻課程
網絡爬蟲，“盜”亦有道！