python中的Xpath方法總結

說在前面:

由於目前一直在做爬蟲,之前常使用requests模塊,現在改用scrapy框架。在解析頁面元素的時候,本人常常喜歡使用xpath,所以爲了以後忘記語法,做一個總結,便於查看。

1.xpath介紹

XPath,全稱 XML Path Language,即 XML 路徑語言,它是一門在 XML 文檔中查找信息的語言。XPath 可用來在 XML 文檔中對元素和屬性進行遍歷。

  • XPath 使用路徑表達式在 XML 文檔中進行導航
  • XPath 包含一個標準函數庫
  • XPath 是 XSLT 中的主要元素
  • XPath 是一個 W3C 標準

2.節點(Node)

2.1 在 XPath 中,有七種類型的節點:元素、屬性、文本、命名空間、處理指令、註釋以及文檔(根)節點。XML 文檔是被作爲節點樹來對待的。樹的根被稱爲文檔節點或者根節點。

看懂可能更加清楚。
在這裏插入圖片描述
2.2 xpath中節點的關係
在這裏插入圖片描述
2.3 xpath中節點選擇的工具
Chrome插件 XPath Helper,下載地址:https://pan.baidu.com/s/1UM94dcwgus4SgECuoJ-Jcg 密碼:337b

3.xpath語法

下面列出了最常用的表達式

表達式 描述
nodename 選取此節點的所有子節點
/ 從根節點選取
// 從匹配選擇的當前節點選擇文檔中的節點,而不考慮它們的位置
. 選取當前節點
選取當前節點的父節點
@ 選取屬性
text() 選取文本

實例

<?xml version="1.0" encoding="ISO-8859-1"?>
<bookstore>
<book>
  <title lang="eng">Harry Potter</title>
  <price>29.99</price>
</book>

<book>
  <title lang="eng">Learning XML</title>
  <price>39.95</price>
</book>
</bookstore>
路徑表達式 解釋
bookstore 選擇bookstore元素。
/bookstore 選取根元素 bookstore。註釋:假如路徑起始於正斜槓( / ),則此路徑始終代表到某元素的絕對路徑!
bookstore/book 選取屬於 bookstore 的子元素的所有 book 元素。
//book 選取所有 book 子元素,而不管它們在文檔中的位置。
bookstore//book 選擇屬於 bookstore 元素的後代的所有 book 元素,而不管它們位於 bookstore 之下的什麼位置。
//book/title/@lang 選擇所有的book下面的title中的lang屬性的值。
//book/title/text() 選擇所有的book下面的title的文本。

4.謂語 & 查找特定的節點

路徑表達式 解釋
/bookstore/book[1] 選取屬於 bookstore 子元素的第一個 book 元素。
/bookstore/book[last()] 選取屬於 bookstore 子元素的最後一個 book 元素。
/bookstore/book[last()-1] 選取屬於 bookstore 子元素的倒數第二個 book 元素。
/bookstore/book[position()< 3] 選取最前面的兩個屬於 bookstore 元素的子元素的 book 元素。
//title[@lang] 選取所有擁有名爲 lang 的屬性的 title 元素。
/bookstore/book[price>35.00] 選取 bookstore 元素的所有 book 元素,且其中的 price 元素的值須大於 35.00。
/bookstore/book[price>35.00]/title 選取 bookstore 元素中的 book 元素的所有 title 元素,且其中的 price 元素的值須大於 35.00。

注意點: 在xpath中,第一個元素的位置是1,最後一個元素的位置是last(),倒數第二個是last()-1

5.選取未知節點

通配符 描述
* 匹配任何元素節點。
@* 匹配任何屬性節點。
node() 匹配任何類型的節點。

舉例:

路徑表達式 結果
/bookstore/* 選取 bookstore 元素的所有子元素。
//* 選取文檔中的所有元素。
//title[@*] 選取所有帶有屬性的 title 元素。

6.選取若干路徑

通過在路徑表達式中使用“|”運算符,可以選取若干個路徑。

路徑表達式 結果
//book/title | //book/price 選取 book 元素的所有 title 和 price 元素。
//title | //price 選取文檔中的所有 title 和 price 元素。
/bookstore/book/title | //price 選取屬於 bookstore 元素的 book 元素的所有 title 元素,以及文檔中所有的 price 元素。

7.常用函數

7.1 starts-with() 獲取以xxx開頭的元素

xpath(//div[stars-with(@class,”test”)])

7.2 ends_with() 以xxx結尾

xpath("//input[ends-with(@id,'fuck')]")

7.3 contains() 獲取包含xxx的元素

xpath(//div[contains(@id,”test”)])

7.4 and 並且 同時

xpath("//input[@type='submit' and @name='fuck']")

7.5 or 或者

xpath("//input[@type='submit' or @name='fuck']")

7.6 not 非

xpath("//input[@type='submit' and not(contains(@name,'fuck'))]")

7.7 text()

xpath(//div[contains(text(),”test”)])
xpath(//div[@id=”“test]/text())

8.嗯呃呃訥訥

以上資料,都是來源網上,都是總結!以後,有知識,還會繼續補充!!

發佈了140 篇原創文章 · 獲贊 56 · 訪問量 4萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章