Java學習之Jsoup

一、jsoup是一款java的html解析器，可直接解析某個url地址，html文本內容。它提供了一套非常省力的api，可通過dom，css以及類似於jQuery的操作方法來取出和操作數據。

步驟：

1.導入jar包

2.獲取Document對象

3.獲取對應的標籤Element對象

4.獲取數據

package com.hoomsun.xml.jsoup;


import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.File;
import java.io.IOException;

/**
 * Jsoup快速入門
 */
public class JsoupDemo1 {
    public static void main(String[] args) throws IOException {
        // 2.獲取document對象,根據xml文檔獲取
        // 2.1獲取student.xml的path
        String path = JsoupDemo1.class.getClassLoader().getResource("student.xml").getPath();
        // 2.2解析xml文檔，加載文檔進內存，獲取dom--->Document
        Document document = Jsoup.parse(new File(path),"utf-8");
        // 3.獲取元素對象element
        Elements elements = document.getElementsByTag("name");
        System.out.println(elements);
        System.out.println(elements.size());   //2
        // 3.1獲取第一個name的Element對象
        Element element = elements.get(0);
        System.out.println(element);
        // 3.2獲取數據
        String name = element.text();
        System.out.println(name);
    }
}

 

對象的使用：

        1.jsoup：工具類，可以解析html或xml文檔，返回Document

        

        2.Document：文檔對象，代表內存中的dom樹

             

        3.Elements：元素Element對象的集合。可以當做ArrayList<Element>來使用。  

        4.Element：元素對象

            

        5.Node：節點對象

                

 jsoup拿到一個網頁的html，可以用於爬蟲。

package com.hoomsun.xml.jsoup;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import java.io.IOException;
import java.net.URL;

public class JsoupDemo2 {
    public static void main(String[] args) throws IOException {
        URL url = new URL("http://www.milimili.tv/anime/1/");
        Document document = Jsoup.parse(url,10000);
        System.out.println(document);
    }
}

 

快捷查詢方式：

1.selector：選擇器

            使用的方法：Elements  select（String cssQuery）

            語法:參考Selector類中定義的語法。

2.Xpath：XPath即爲XML路徑語言，它是一種用來確定XML（標準通用標記語言的子集）文檔中某部分位置的語言

            使用Jsoup的Xpath需要額外導入jar包。

            查詢w3cschool參考手冊。

package com.hoomsun.xml.jsoup;


import cn.wanghaomiao.xpath.exception.XpathSyntaxErrorException;
import cn.wanghaomiao.xpath.model.JXDocument;
import cn.wanghaomiao.xpath.model.JXNode;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.File;
import java.io.IOException;
import java.util.List;

/**
 * Jsoup快速入門
 */
public class JsoupDemo3 {
    public static void main(String[] args) throws IOException, XpathSyntaxErrorException {
        // 2.獲取document對象,根據xml文檔獲取
        // 2.1獲取student.xml的path
        String path = JsoupDemo1.class.getClassLoader().getResource("student.xml").getPath();
        // 2.2解析xml文檔，加載文檔進內存，獲取dom--->Document
        Document document = Jsoup.parse(new File(path),"utf-8");
        // 3 根據document對象，創建JXDocument
        JXDocument jxDocument = new JXDocument(document);
        // 4. 結合xpath語法查詢
        // 4.1查詢所有student標籤
        List<JXNode> jxNodes =  jxDocument.selN("//student");
        for(JXNode jxNode:jxNodes){
            System.out.println(jxNode);
        }
        System.out.println("-----------");
        // 4.2查詢student標籤下的name標籤
        List<JXNode> jxNodes2 =  jxDocument.selN("//student/name");
        for(JXNode jxNode:jxNodes2){
            System.out.println(jxNode);
        }
        System.out.println("-----------");
        // 4.3查詢student標籤下帶有id屬性的name標籤
        List<JXNode> jxNodes3 =  jxDocument.selN("//student/name[@id]");
        for(JXNode jxNode:jxNodes3){
            System.out.println(jxNode);
        }
        System.out.println("-----------");
        // 4.4查詢student標籤下帶有id屬性的name標籤id=111的
        List<JXNode> jxNodes4 =  jxDocument.selN("//student/name[@id=111]");
        for(JXNode jxNode:jxNodes4){
            System.out.println(jxNode);
        }

    }
}