python網絡爬蟲與信息採取之解析網頁（三）---- BeautifulSoup庫的導航樹實例

上篇我們講到了通過標籤的名稱和屬性來查找標籤的findAll（),本篇將講解如何通過標籤在文檔中的位置進行查找------導航樹

一篇文章，可以將其標籤分爲子標籤，父標籤和兄弟標籤。而導航樹的功能就是先在文檔中找到一個位置，根據網頁源代碼的架構，在該位置上進行前進（子標籤），後退（父標籤）或平移（兄弟標籤），從而遍歷全部標籤，獲取全部內容。

具體標籤內容詳見http://blog.csdn.net/qq_38329811/article/details/77108768，在這篇文章的知識圖的搜索文檔下有全部的屬性，具體用法自行百度；

下面，我將用一個實例來詳細講解：

目標網站:http://www.pythonscraping.com/pages/page3.html

目的：獲取商品的名稱，描述和價格；

代碼如下:

import requests
from bs4 import BeautifulSoup
import bs4


url = "http://www.pythonscraping.com/pages/page3.html"
r = requests.get(url, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
html = r.text
soup = BeautifulSoup(html, "html.parser")
uniolist = []
i = 0
for tr in soup.find('table').children:
    #print(type(tr))
    if isinstance(tr, bs4.element.Tag):
        if i == 0:
            ths = tr.find_all('th')
            uniolist.append([ths[0].string,ths[1].string,ths[2].string])
        else:
            ths = tr.find_all('td')
            uniolist.append([ths[0].string, ths[1].get_text(), ths[2].string])
        i = i + 1
for i in range(5):
    u = uniolist[i]
    print(u[0],u[1],u[2])

其中的

for tr in soup.find('table').children:

首先，在網頁中找到第一個table標籤，然後在遍歷他的所有子標籤（下一級標籤），每次循環得到一個tr標籤，

再通過find_all()函數遍歷tr中所有的td標籤，

ths = tr.find_all('td')

最後將其文本放入到一個列表中進行輸出；