【使用JSOUP實現網絡爬蟲】清理HTML-消除不受信任的html (來防止xss攻擊)

問題

在做網站的時候,經常會提供用戶評論的功能。有些不懷好意的用戶,會搞一些腳本到評論內容中,而這些腳本可能會破壞整個頁面的行爲,更嚴重的是獲取一些機要信息,此時需要清理該HTML,以避免跨站腳本cross-site scripting攻擊(XSS)。

方法

使用jsoup HTML Cleaner 方法進行清除,但需要指定一個可配置的 Whitelist

String unsafe = 
  "<p><a href='http://example.com/' onclick='stealCookies()'>Link</a></p>";
String safe = Jsoup.clean(unsafe, Whitelist.basic());
// now: <p><a href="http://example.com/" rel="nofollow">Link</a></p>

說明

XSS又叫CSS (Cross Site Script) ,跨站腳本攻擊。它指的是惡意攻擊者往Web頁面裏插入惡意html代碼,當用戶瀏覽該頁之時,嵌入其中Web裏面的html代碼會被執行,從而達到惡意攻擊用戶的特殊目的。XSS屬於被動式的攻擊,因爲其被動且不好利用,所以許多人常忽略其危害性。所以我們經常只讓用戶輸入純文本的內容,但這樣用戶體驗就比較差了。

一個更好的解決方法就是使用一個富文本編輯器WYSIWYG如CKEditorTinyMCE。這些可以輸出HTML並能夠讓用戶可視化編輯。雖然他們可以在客戶端進行校驗,但是這樣還不夠安全,需要在服務器端進行校驗並清除有害的HTML代碼,這樣才能確保輸入到你網站的HTML是安全的。否則,攻擊者能夠繞過客戶端的Javascript驗證,並注入不安全的HMTL直接進入您的網站。

jsoup的whitelist清理器能夠在服務器端對用戶輸入的HTML進行過濾,只輸出一些安全的標籤和屬性。

jsoup提供了一系列的Whitelist基本配置,能夠滿足大多數要求;但如有必要,也可以進行修改,不過要小心。

這個cleaner非常好用不僅可以避免XSS攻擊,還可以限制用戶可以輸入的標籤範圍。

參見

  • 參閱XSS cheat sheet ,有一個例子可以瞭解爲什麼不能使用正則表達式,而採用安全的whitelist parser-based清理器纔是正確的選擇。
  • 參閱Cleaner ,瞭解如何返回一個 Document 對象,而不是字符串
  • 參閱Whitelist,瞭解如何創建一個自定義的whitelist
  • nofollow 鏈接屬性瞭解

閱讀更多JSOUP相關文章,請看專欄:使用JSOUP實現網絡爬蟲

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章