網絡爬蟲盜亦有道

2.1網絡爬蟲引發的問題

2.1.1 網絡爬蟲的尺度

2.1.2網絡爬蟲的法律風險

1. 服務器上的數據產權歸屬
2. 網絡爬蟲獲取數據後牟利將帶來法律風險

2.1.2網絡爬蟲泄露隱私

• 網絡爬蟲可能具備突破簡單訪問控制的能力，獲得被保護數據從而泄露個人隱私

2.1.3網絡爬蟲引發的問題

• 騷擾問題
• 法律問題
• 隱私泄露

2.1.3對待網絡爬蟲的限制

• 服務器 網站的所有者：通過來源審查限制網絡爬蟲
  
• 發佈公告：Robots協議

2.2Robots協議

案例：京東的Robots協議
https://www.jd.com/robots.txt

第二行表示任何路徑都不能訪問/？*開頭的路徑

2.3Robots協議的遵守方式

類人行爲可不參考Robots協議
例如一天內僅僅訪問幾次