文章目錄
一、什麼是XPath？
xpath（XML Path Language）是一門在XML和HTML文檔中查找信息的語言，可用來在XML和HTML文檔中對元素和屬性進行遍歷。
二、xpath helper插件
xpath helper插件是一款免費的chrome爬蟲網頁解析工具。可以幫助用戶解決在獲取xpath路徑時無法正常定位等問題。該插件主要能幫助你在各類網站上通過按shift鍵選擇想要查看的頁面元素來提取查詢其代碼，同時你還能對查詢出來的代碼進行編輯，而編輯出的結果將立即顯示在旁邊的結果框中。
三、xpath helper安裝使用方法
Chrome插件XPath Helper。
安裝方法：
-
https://download.csdn.net/download/weixin_42444693/12265783 ，下載安裝包解壓到本地。 (本人實測上傳，記得看壓縮包說明)
-
谷歌瀏覽器輸入 chrome://extensions/ 進入拓展程序界面
-
打開開發者模式，選擇加載已解壓的擴展程序，選擇剛剛解壓的文件路徑打開即可
-
重啓瀏覽器使用
-
提示：如果刪除文件夾會導致拓展功能無法使用，最好不要將壓縮包解壓到桌面安裝使用
四、XPath語法
在 XPath 中，有七種類型的節點：元素、屬性、文本、命名空間、處理指令、註釋以及文檔（根）節點。XML 文檔是被作爲節點樹來對待的。樹的根被稱爲文檔節點或者根節點。
4.1 節點語法
XPath 使用路徑表達式在 XML 文檔中選取節點。節點是通過沿着路徑或者 step 來選取的。
下面列出了最有用的路徑表達式：
| 表達式 | 描述 |
|---|---|
| nodename | 選取此節點的所有子節點。 |
| / | 從根節點選取。 |
| // | 從匹配選擇的當前節點選擇文檔中的節點，而不考慮它們的位置。 |
| . | 選取當前節點。 |
| … | 選取當前節點的父節點。 |
| @ | 選取屬性。 |
4.2 節點實例
| 路徑表達式 | 結果 |
|---|---|
| bookstore | 選取 bookstore 元素的所有子節點。 |
| /bookstore | 選取根元素 bookstore。註釋：假如路徑起始於正斜槓( / )，則此路徑始終代表到某元素的絕對路徑！ |
| bookstore/book | 選取屬於 bookstore 的子元素的所有 book 元素。 |
| //book | 選取所有 book 子元素，而不管它們在文檔中的位置。 |
| bookstore//book | 選擇屬於 bookstore 元素的後代的所有 book 元素，而不管它們位於 bookstore 之下的什麼位置。 |
| //@lang | 選取名爲 lang 的所有屬性。 |
4.3 謂語（Predicates）
謂語用來查找某個特定的節點或者包含某個指定的值的節點。謂語被嵌在方括號中。
帶有謂語的一些路徑表達式，以及表達式的結果：
| 路徑表達式 | 結果 |
|---|---|
| /bookstore/book[1] | 選取屬於 bookstore 子元素的第一個 book 元素。 |
| /bookstore/book[last()] | 選取屬於 bookstore 子元素的最後一個 book 元素。 |
| /bookstore/book[last()-1] | 選取屬於 bookstore 子元素的倒數第二個 book 元素。 |
| /bookstore/book[position()❤️] | 選取最前面的兩個屬於 bookstore 元素的子元素的 book 元素。 |
| //title[@lang] | 選取所有擁有名爲 lang 的屬性的 title 元素。 |
| //title[@lang=‘eng’] | 選取所有 title 元素，且這些元素擁有值爲 eng 的 lang 屬性。 |
| /bookstore/book[price>35.00] | 選取 bookstore 元素的所有 book 元素，且其中的 price 元素的值須大於 35.00。 |
| /bookstore/book[price>35.00]/title | 選取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值須大於 35.00。 |
4.4 選取未知節點
XPath 通配符可用來選取未知的 XML 元素。
| 通配符 | 描述 |
|---|---|
| * | 匹配任何元素節點。 |
| @* | 匹配任何屬性節點。 |
| node() | 匹配任何類型的節點。 |
4.5 選取若干路徑
通過在路徑表達式中使用“|”運算符，您可以選取若干個路徑。
實例
| 路徑表達式 | 結果 |
|---|---|
| //book/title | //book/price | 選取 book 元素的所有 title 和 price 元素。 |
| //title | //price | 選取文檔中的所有 title 和 price 元素。 |
| /bookstore/book/title | //price | 選取屬於 bookstore 元素的 book 元素的所有 title 元素，以及文檔中所有的 price 元素。 |
五、XPath 軸
軸可定義相對於當前節點的節點集。
5.1 軸常用語法
| 軸名稱 | 結果 |
|---|---|
| ancestor | 選取當前節點的所有先輩（父、祖父等）。 |
| ancestor-or-self | 選取當前節點的所有先輩（父、祖父等）以及當前節點本身。 |
| attribute | 選取當前節點的所有屬性。 |
| child | 選取當前節點的所有子元素。 |
| descendant | 選取當前節點的所有後代元素（子、孫等）。 |
| descendant-or-self | 選取當前節點的所有後代元素（子、孫等）以及當前節點本身。 |
| following | 選取文檔中當前節點的結束標籤之後的所有節點。 |
| namespace | 選取當前節點的所有命名空間節點。 |
| parent | 選取當前節點的父節點。 |
| preceding | 選取文檔中當前節點的開始標籤之前的所有節點。 |
| preceding-sibling | 選取當前節點之前的所有同級節點。 |
| self | 選取當前節點。 |
5.2 位置路徑表達式
位置路徑可以是絕對的，也可以是相對的。
絕對路徑起始於正斜槓( / )，而相對路徑不會這樣。在兩種情況中，位置路徑均包括一個或多個步，每個步均被斜槓分割：
絕對位置路徑：
/step/step/...
相對位置路徑：
step/step/...
每個步均根據當前節點集之中的節點來進行計算。
5.3 步（step）的用法：
-
軸（axis）
定義所選節點與當前節點之間的樹關係
-
節點測試（node-test）
識別某個軸內部的節點
-
零個或者更多謂語（predicate）
更深入地提煉所選的節點集
5.4 步的語法：
軸名稱::節點測試[謂語]
5.5 實例
| 例子 | 結果 |
|---|---|
| child::book | 選取所有屬於當前節點的子元素的 book 節點。 |
| attribute::lang | 選取當前節點的 lang 屬性。 |
| child:😗 | 選取當前節點的所有子元素。 |
| attribute:😗 | 選取當前節點的所有屬性。 |
| child::text() | 選取當前節點的所有文本子節點。 |
| child::node() | 選取當前節點的所有子節點。 |
| descendant::book | 選取當前節點的所有 book 後代。 |
| ancestor::book | 選擇當前節點的所有 book 先輩。 |
| ancestor-or-self::book | 選取當前節點的所有 book 先輩以及當前節點（如果此節點是 book 節點） |
| child:😗/child::price | 選取當前節點的所有 price 孫節點。 |
六、XPath 運算符
XPath 表達式可返回節點集、字符串、邏輯值以及數字。
6.1 XPath 表達式中常用運算符
| 運算符 | 描述 | 實例 | 返回值 |
|---|---|---|---|
| | | 計算兩個節點集 | //book | //cd | 返回所有擁有 book 和 cd 元素的節點集 |
| + | 加法 | 6 + 4 | 10 |
| - | 減法 | 6 - 4 | 2 |
| * | 乘法 | 6 * 4 | 24 |
| div | 除法 | 8 div 4 | 2 |
| = | 等於 | price=9.80 | 如果 price 是 9.80，則返回 true。如果 price 是 9.90，則返回 false。 |
| != | 不等於 | price!=9.80 | 如果 price 是 9.90，則返回 true。如果 price 是 9.80，則返回 false。 |
| < | 小於 | price<9.80 | 如果 price 是 9.00，則返回 true。如果 price 是 9.90，則返回 false。 |
| <= | 小於或等於 | price<=9.80 | 如果 price 是 9.00，則返回 true。如果 price 是 9.90，則返回 false。 |
| > | 大於 | price>9.80 | 如果 price 是 9.90，則返回 true。如果 price 是 9.80，則返回 false。 |
| >= | 大於或等於 | price>=9.80 | 如果 price 是 9.90，則返回 true。如果 price 是 9.70，則返回 false。 |
| or | 或 | price=9.80 or price=9.70 | 如果 price 是 9.80，則返回 true。如果 price 是 9.50，則返回 false。 |
| and | 與 | price>9.00 and price<9.90 | 如果 price 是 9.80，則返回 true。如果 price 是 8.50，則返回 false。 |
| mod | 計算除法的餘數 | 5 mod 2 | 1 |
七、XPath其他
7.1 使用方式：
使用//獲取整個頁面當中的元素，然後寫標籤名，然後在寫謂語進行提取，比如：
//title[@lang='en']
7.2 需要注意的知識點：
-
/和//的區別：/代表只獲取子節點，//獲取子孫節點，一般//用的比較多，當然也要視情況而定
-
contains：有時候某個屬性中包含了多個值，那麼可以使用contains函數，示例如下：
//title[contains(@lang,'en')] -
謂詞中下標是從1開始的，不是從0開始的
八、lxml庫
lxml是一個 HTML/XML的解析器,主要的功能是如何解析和提取HTML/XML數據。
lxml和正則一樣,也是用C實現的,是一款高性能的 Python HTML/XML解折,我們可以利用之學習的Xpath語法,來快速的定位特定元素以及節點信息。
lxmlpython官方文檔：http://hxmlde/indexhtml
8.1 基本使用：
from lxml import etree
text = '''
<div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</ul>
</div>
'''
# 將字符串解析爲html文檔
html = etree.HTML(text)
print(html)
# 按字符串序列化html
result = etree.tostring(html).decode('utf-8')
print(result)
8.2 從文件中讀取html代碼：
#讀取
html = etree.parse('hello.html')
result = etree.tostring(html).decode('utf-8')
print(result)
8.3 在lxml中使用xpath語法
<!-- hello.html -->
<div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
8.4 代碼實例
from lxml import etree
html = etree.parse('hello.html')
# 獲取所有li標籤：
# result = html.xpath('//li')
# print(result)
# for i in result:
# print(etree.tostring(i))
# 獲取所有li元素下的所有class屬性的值：
# result = html.xpath('//li/@class')
# print(result)
# 獲取li標籤下href爲www.baidu.com的a標籤：
# result = html.xpath('//li/a[@href="www.baidu.com"]')
# print(result)
# 獲取li標籤下所有span標籤：
# result = html.xpath('//li//span')
# print(result)
# 獲取li標籤下的a標籤裏的所有class：
# result = html.xpath('//li/a//@class')
# print(result)
# 獲取最後一個li的a的href屬性對應的值：
# result = html.xpath('//li[last()]/a/@href')
# print(result)
# 獲取倒數第二個li元素的內容：
# result = html.xpath('//li[last()-1]/a')
# print(result)
# print(result[0].text)
# 獲取倒數第二個li元素的內容的第二種方式：
result = html.xpath('//li[last()-1]/a/text()')
print(result)