探索 Jsoup開源項目,深入解析技術點.(我認爲他是一個非常好而很容易上手的工具)


Jsoup與Jquery的區別:

jsoup 是一款 Java 的HTML 解析器,可直接解析某個URL地址、HTML文本內容。它提供了一套非常省力的API,可通過DOM,CSS以及類似於JQuery的操作方法來取出和操作數據。該版本包含一個支持 HTML5 的解析器分支,可確保跟現在的瀏覽器一樣解析 HTML 的方法,同時降低了解析的時間和內存的佔用。點擊鏈接打開JsoupAPI
Jquery是繼prototype之後又一個優秀的Javascrīpt框架。它是輕量級的js庫,它兼容CSS3,還兼容各種瀏覽器 。jQuery使用戶能更方便地處理HTML documents、events、實現動畫效果,並且方便地爲網站提供AJAX交互。jQuery還有一個比較大的優勢是,它的文檔說明很全,而且各種應用也說得很詳細,同時還有許多成熟的插件可供選擇。jQuery能夠使用戶的html頁保持代碼和html內容分離,也就是說,不用再在html裏面插入一堆js來調用命令了,只需定義id即可。點擊鏈接打開JqueryAPI

Jsoup詳解(直接進入正題):

隨着Web應用的不斷髮展,開發人員有時需要通過HTML解析功能實現客戶需求。讀者朋友可能對老牌HTML Parser Java庫比較熟悉。 其實,jsoup也是爲了方便開發人員實現HTML解析而誕生(2010年初發起)的一款工具包。jsoup的主要功能包括:

  • 解析,通過URL、文件或者字符串來分析HTML文檔。
  • 查找,通過DOM遍歷或者CSS選擇器來尋找和抽取數據。
  • 操作,處理HTML元素、屬性和文本。
  • 檢查,通過白名單機制來保護HTML內容的安全。


常見的方式如下:
Document doc = Jsoup.connect(待解析的url).get();
Elements e = doc.select("從doc裏獲取指定元素 標籤 id 等內容,在最後給大家將選擇器");


我認爲在玩Jsoup的時候都是這樣玩的,connect.(url).get();對方法的含義不在聲明,具體請看API,上面有給大家提供

接下來給大家看一下初始化html時的全部代碼

  // 從URL直接加載HTML 文檔
  Document doc =Jsoup.connect("網址/").get();
  String title = doc.title();//這個方法其實就是獲取了doc中的title,大家可以測試一下
  Document doc =Jsoup.connect("網址/")
  .data("query", "Java") //請求參數
  .userAgent("I’mjsoup") //設置User-Agent
  .cookie("auth", "token") //設置cookie
  .timeout(3000) //設置連接超時時間
  .post(); //使用POST方法訪問URL
  // 從文件中加載HTML 文檔
  File input = new File("D:/test.html");
  Document doc = Jsoup.parse(input,"UTF-8","網址/");
請大家注意最後一種HTML 文檔輸入方式中的parse 的第三個參數,爲什麼需要在這裏指定一個網址呢(雖然可以不指定,如第一種方法)?因爲HTML 文檔中會有很多例如鏈接、圖片以及所引用的外部腳本、css文件等,而第三個名爲baseURL 的參數的意思就是當HTML 文檔使用相對路徑方式引用外部文件時,jsoup會自動爲這些URL 加上一個前綴,也就是這個baseURL。
  例如<a href=/project>開源軟件</a> 會被轉換成<a href=網址>開源軟件</a>。

而在元素檢索方面,jsoup 的選擇器簡直無所不能,


File input = new File("D:\test.html");
  Document doc =Jsoup.parse(input,"UTF-8","網址");
  Elements links = doc.select("a[href]"); // 具有href 屬性的鏈接
  Elements pngs = doc.select("img[src$=.png]");//所有引用png圖片的元素
  Element masthead =doc.select("div.masthead").first();
  // 找出定義了class=masthead 的元素
  Elements resultLinks = doc.select("h3.r >a"); // direct a after h3


這是jsoup 真正讓我折服的地方,jsoup使用跟jQuery 一模一樣的選擇器對元素進行檢索,以上的檢索方法如果換成是其他的HTML 解釋器,至少都需要很多行代碼,而jsoup 只需要一行代碼即可完成。
jsoup 的選擇器還支持表達式功能,我們將在最後一節介紹這個超強的選擇器。

在這裏給大家介紹一個比較突出的功能:HTML文檔清理:
jsoup 在提供強大的API 同時,人性化方面也做得非常好。在做網站的時候,經常會提供用戶評論的功能。有些用戶比較淘氣,會搞一些腳本到評論內容中,而這些腳本可能會破壞整個頁面的行爲,更嚴重的是獲取一些機要信息,例如XSS 跨站點攻擊之類的。

jsoup 對這方面的支持非常強大,使用非常簡單。看看下面這段代碼:
  String unsafe = "<p><a href='網址' onclick='stealCookies()'>開源中國社區</a></p>";
  String safe = Jsoup.clean(unsafe, Whitelist.basic());
  // 輸出:
  // <p><ahref="網址" rel="nofollow">開源中國社區</a></p>
  jsoup 使用一個Whitelist 類用來對HTML 文檔進行過濾,該類提供幾個常用方法:


如果這五個過濾器都無法滿足你的要求呢,例如你允許用戶插入flash 動畫,沒關係,Whitelist提供擴展功能,例如whitelist.addTags("embed","object","param","span","div");也可調用addAttributes 爲某些元素增加屬性。


jsoup 的過人之處——選擇器:




以上是最基本的選擇器語法,這些語法也可以組合起來使用,下面是jsoup支持的組合用法:



除了一些基本的語法以及這些語法進行組合外,jsoup 還支持使用表達式進行元素過濾選擇。下面是jsoup支持的所有表達式一覽表:






發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章