xpath解析數據

xpath

• XPath (XML Path Language) 是一門在 XML 文檔中查找信息的語言，可用來在 XML 文檔中對元素和屬性進行遍歷。

• XML 和 HTML 的區別

  • XML：被設計爲傳輸和存儲數據，其焦點是數據的內容。
  • HTML：顯示數據以及如何更好顯示數據。

• xpath選取節點

  表達式	描述
  /	從根節點選取。
  //	從匹配選擇的當前節點選擇文檔中的節點，而不考慮它們的位置
  .	選取當前節點
  …	選取當前節點的父節點
  @	選取屬性

• 謂語（Predicates）

  徑表達式	結果
  bookstore/book[1]	選取屬於 bookstore 子元素的第一個 book 元素。
  bookstore/book[last()]	選取屬於 bookstore 子元素的最後一個 book 元素。
  bookstore/book[last()-1]	選取屬於 bookstore 子元素的倒數第二個 book 元素。
  bookstore/book[position() < 3]	選取最前面的兩個屬於 bookstore 元素的子元素的 book 元素。
  /title[@lang]	選取所有擁有名爲 lang 的屬性的 title 元素。
  /title[@lang=’eng’]	選取所有 title 元素，且這些元素擁有值爲 eng 的 lang 屬性。

• xpath使用

  • 1、下載 pip install lxml

  • 2 、導包 from lxml import etree

  • 3、 創建etree對象進行指定數據解析 etree = etree.HTML(html)

    #使用xpath解析數據
        etree_xpath = etree.HTML(response)
        #取出所有class爲scores_List的div下邊的dl
        dls= etree_xpath.xpath('//div[@class="scores_List"]/dl')
    
    

• 常用的xpath表達式：

#屬性定位：

"""找到class屬性值爲song的div標籤"""
//div[@class="song"] 
# 層級&索引定位：

"""找到class屬性值爲tang的div的直系子標籤ul下的第二個子標籤li下的直系子標籤a"""
//div[@class="tang"]/ul/li[2]/a
#邏輯運算：

"""找到href屬性值爲空且class屬性值爲du的a標籤"""
//a[@href="" and @class="du"]
# 模糊匹配： //div[contains(@class, "ng")] //div[starts-with(@class, "ta")] 取文本：

""" /表示獲取某個標籤下的文本內容 """
"""//表示獲取某個標籤下的文本內容和所有子標籤下的文本內容"""
//div[@class="song"]/p[1]/text()
//div[@class="tang"]//text()
# 取屬性： //div[@class="tang"]//li[2]/a/@href