Java学习之Jsoup

一、jsoup是一款java的html解析器，可直接解析某个url地址，html文本内容。它提供了一套非常省力的api，可通过dom，css以及类似于jQuery的操作方法来取出和操作数据。

步骤：

1.导入jar包

2.获取Document对象

3.获取对应的标签Element对象

4.获取数据

package com.hoomsun.xml.jsoup;


import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.File;
import java.io.IOException;

/**
 * Jsoup快速入门
 */
public class JsoupDemo1 {
    public static void main(String[] args) throws IOException {
        // 2.获取document对象,根据xml文档获取
        // 2.1获取student.xml的path
        String path = JsoupDemo1.class.getClassLoader().getResource("student.xml").getPath();
        // 2.2解析xml文档，加载文档进内存，获取dom--->Document
        Document document = Jsoup.parse(new File(path),"utf-8");
        // 3.获取元素对象element
        Elements elements = document.getElementsByTag("name");
        System.out.println(elements);
        System.out.println(elements.size());   //2
        // 3.1获取第一个name的Element对象
        Element element = elements.get(0);
        System.out.println(element);
        // 3.2获取数据
        String name = element.text();
        System.out.println(name);
    }
}

 

对象的使用：

        1.jsoup：工具类，可以解析html或xml文档，返回Document

        

        2.Document：文档对象，代表内存中的dom树

             

        3.Elements：元素Element对象的集合。可以当做ArrayList<Element>来使用。  

        4.Element：元素对象

            

        5.Node：节点对象

                

 jsoup拿到一个网页的html，可以用于爬虫。

package com.hoomsun.xml.jsoup;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import java.io.IOException;
import java.net.URL;

public class JsoupDemo2 {
    public static void main(String[] args) throws IOException {
        URL url = new URL("http://www.milimili.tv/anime/1/");
        Document document = Jsoup.parse(url,10000);
        System.out.println(document);
    }
}

 

快捷查询方式：

1.selector：选择器

            使用的方法：Elements  select（String cssQuery）

            语法:参考Selector类中定义的语法。

2.Xpath：XPath即为XML路径语言，它是一种用来确定XML（标准通用标记语言的子集）文档中某部分位置的语言

            使用Jsoup的Xpath需要额外导入jar包。

            查询w3cschool参考手册。

package com.hoomsun.xml.jsoup;


import cn.wanghaomiao.xpath.exception.XpathSyntaxErrorException;
import cn.wanghaomiao.xpath.model.JXDocument;
import cn.wanghaomiao.xpath.model.JXNode;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.File;
import java.io.IOException;
import java.util.List;

/**
 * Jsoup快速入门
 */
public class JsoupDemo3 {
    public static void main(String[] args) throws IOException, XpathSyntaxErrorException {
        // 2.获取document对象,根据xml文档获取
        // 2.1获取student.xml的path
        String path = JsoupDemo1.class.getClassLoader().getResource("student.xml").getPath();
        // 2.2解析xml文档，加载文档进内存，获取dom--->Document
        Document document = Jsoup.parse(new File(path),"utf-8");
        // 3 根据document对象，创建JXDocument
        JXDocument jxDocument = new JXDocument(document);
        // 4. 结合xpath语法查询
        // 4.1查询所有student标签
        List<JXNode> jxNodes =  jxDocument.selN("//student");
        for(JXNode jxNode:jxNodes){
            System.out.println(jxNode);
        }
        System.out.println("-----------");
        // 4.2查询student标签下的name标签
        List<JXNode> jxNodes2 =  jxDocument.selN("//student/name");
        for(JXNode jxNode:jxNodes2){
            System.out.println(jxNode);
        }
        System.out.println("-----------");
        // 4.3查询student标签下带有id属性的name标签
        List<JXNode> jxNodes3 =  jxDocument.selN("//student/name[@id]");
        for(JXNode jxNode:jxNodes3){
            System.out.println(jxNode);
        }
        System.out.println("-----------");
        // 4.4查询student标签下带有id属性的name标签id=111的
        List<JXNode> jxNodes4 =  jxDocument.selN("//student/name[@id=111]");
        for(JXNode jxNode:jxNodes4){
            System.out.println(jxNode);
        }

    }
}