BeautifulSoup 的使用

原創 隐匿。 2020-06-16 13:47

六、BeautifulSoup 的使用

  • Beautiful Soup 是⼀個可以從HTML或XML⽂件中提取數據的⽹⻚信息提取庫

6.1 基本使用方法

方法 功能
BeautifulSoup(html_doc,‘lxml’) ` 獲取bs對象
bs.prettify() 打印文檔內容
bs.title(標籤名) 獲取標籤內容
bs.title.name 獲取標籤名稱
bs.title.string 獲取標籤裏面的文本內容

6.2 bs4的對象種類

對象 種類
tag 標籤
NavigableString 可導航的字符串
BeautifulSoup bs對象
Comment 註釋 
 from bs4 import BeautifulSoup
  
  html_doc = """
  <html><head><title>The Dormouse's story</title></head>
  <body>
  <p class="title"><b>The Dormouse's story</b></p>
  <p class="story">Once upon a time there were three little sisters; and their names were
  <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
  <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
  <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
  and they lived at the bottom of a well.</p>
  <p class="story">...</p>
  """
  
  soup = BeautifulSoup(html_doc,'lxml')
  
  # print(type(soup)) # <class 'bs4.BeautifulSoup'>
  #
  # print(type(soup.title)) # <class 'bs4.element.Tag'>
  # print(type(soup.a)) # <class 'bs4.element.Tag'>
  # print(type(soup.p)) # <class 'bs4.element.Tag'>
  #
  # print(soup.p.string) # The Dormouse's story
  # print(type(soup.p.string)) # <class 'bs4.element.NavigableString'>
  title_tag = soup.p
  print(title_tag)
  print(title_tag.name)
  print(title_tag.string)
  html_comment = '<a><!-- 這裏是註釋內容--></a>'
  soup = BeautifulSoup(html_comment,'lxml')
  print(soup.a.string)
  print(type(soup.a.string)) # <class 'bs4.element.Comment'>

6.3 遍歷樹 遍歷子節點

bs⾥⾯有三種情況，第⼀個是遍歷，第⼆個是查找，第三個是修改

  • contents children descendants

    • contents 返回的是⼀個列表

    • children 返回的是⼀個迭代器通過這個迭代器可以進⾏迭代

    • descendants 返回的是⼀個⽣成器遍歷⼦⼦孫孫

  • .string .strings .stripped_strings

    • string獲取標籤⾥⾯的內容

    • strings 返回是⼀個⽣成器對象⽤過來獲取多個標籤內容

    • stripped strings 和strings基本⼀致 但是它可以把多餘的空格去掉

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

soup = BeautifulSoup(html_doc,'lxml')

# tag
# print(soup.title)
# print(soup.p)
# print(soup.p.b)
# print(soup.a)

# all_p = soup.find_all('p')
#
# print(all_p)
# []屬性來取值
title_tag = soup.p
print(title_tag['class'])#['title']

# contents 返回的是一個列表

# children 返回的是一個迭代器通過這個迭代器可以進行迭代
# 迭代 重複 循環(loop)
# python當中 循環 while for 實現迭代 for ... in ...
# 在Python中可以使用for關鍵字來逐個訪問可迭代對象



# descendants 返回的是一個生成器遍歷子子孫孫


# contents 返回的是一個列表

# links = soup.contents
# print(type(links)) # <class 'list'>
# print(links)

# children 返回的是一個迭代器通過這個迭代器可以進行迭代

html = '''
<div>
<a href='#'>百度</a>
<a href='#'>阿里</a>
<a href='#'>騰訊</a>
</div>
'''
# 需要div標籤下的數據
soup2 = BeautifulSoup(html,'lxml')

# links = soup2.contents

# print(type(links))
#
# print(links)

# for i in links:
#
#     print()

# links = soup2.div.children
# print(type(links)) # <class 'list_iterator'>
#
# for link in links:
#     print(link)

# descendants 返回的是一個生成器遍歷子子孫孫

# print(len(soup.contents))
# # print(len(soup.descendants)) # TypeError: object of type 'generator' has no len()
#
# for x in soup.descendants:
#
#     print('----------------')
#     print(x)

# string獲取標籤裏面的內容
# strings 返回是一個生成器對象用過來獲取多個標籤內容
# stripped strings 和strings基本一致 但是它可以把多餘的空格去掉

# title_tag = soup.title
# print(title_tag)
# print(title_tag.string)
#
# head_tag = soup.head
# print(head_tag.string)
#
# print(soup.html.string)

# strings = soup.strings


# print(strings) # <generator object _all_strings at 0x000001D9053745C8>

# for s in strings:
#     print(s)

strings = soup.stripped_strings

for s in strings:
    print(s)

6.4 遍歷樹 遍歷父節點

  • parent直接獲得⽗節點

  • parents獲取所有的⽗節點

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

soup = BeautifulSoup(html_doc,'lxml')
# parent直接獲得父節點
# title_tag = soup.title
# print(title_tag)
# print(title_tag.parent)

# print(soup.html.parent)

# parents獲取所有的父節點
a_tag = soup.a
# print(a_tag)
# print(a_tag.parents) # <generator object parents at 0x0000025F937E9678>

for x in a_tag.parents:
    print(x)
    print('----------------')

6.5 遍歷樹 遍歷兄弟節點

  • next_sibling 下⼀個兄弟結點

  • previous_sibling 上⼀個兄弟結點

  • next_siblings 下⼀個所有兄弟結點

  • previous_siblings上⼀個所有兄弟結點

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

# html = '<a><b>bbb</b><c>ccc</c><a>'
soup = BeautifulSoup(html_doc,'lxml')
#
# # print(soup.prettify())
# b_tag = soup.b
# print(b_tag)
# print(b_tag.next_sibling)
# c_tag = soup.c
# # print(c_tag.next_sibling)
# print(c_tag.previous_sibling)

a_tag = soup.a
# print(a_tag)

for x in a_tag.next_siblings:
    print(x)

6.6 搜索樹

  • 字符串過濾器

  • 正則表達式過濾器：我們⽤正則表達式⾥⾯compile⽅法編譯⼀個正則表達式傳給 find 或者

  • findall這個⽅法可以實現⼀個正則表達式的⼀個過濾器的搜索

  • 列表過濾器

  • True過濾器

  • ⽅法過濾器

from bs4 import BeautifulSoup
import re

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""


soup = BeautifulSoup(html_doc,'lxml')


# • 字符串過濾器
# • 正則表達式過濾器
#   我們用正則表達式裏面compile方法編譯一個正則表達式傳給 find 或者 findall這個方法可以實現一個正則表達式的一個過濾器的搜索
# • 列表過濾器
# • True過濾器
# • 方法過濾器

# • 字符串過濾器
# a_tag2 = soup.a
#

# a_tags = soup.find_all('a')
# print(a_tags)

# 我想要找到所有t 打頭的標籤 正則表達式
# print(soup.find_all(re.compile('t')))

# 我想要找p標籤和a標籤  列表過濾器
# print(soup.find_all(['p','a']))

# print(soup.find_all(['title','b']))

# print(soup.find_all(True)) # True過濾器

def fn(tag):
    return tag.has_attr('class')

print(soup.find_all(fn))

6.7 複習

方法 功能
soup.prettify() 格式化源碼
soup.title title整個標籤的內容
soup.title.name 標籤的名字
soup.title.string 標籤內容
soup.contents 返回一個列表
soup.div.children 返回一個迭代器
soup.descendants 返回一個生成器 遍歷子子孫孫
soup.string 獲取標籤內容
soup.string 獲取所有標籤內容
soup.stripped_strings 獲取所有標籤內容並刪除多餘空格
soup.a.parent 獲取a標籤的父節點
soup.a.previous_sibling 上一個兄弟節點
soup.a.next_sibling 下一個兄弟節點
soup.a.next_siblings 下一個所有兄弟節點
soup.a.previous_siblings 上一個所有兄弟節點

6.8 find

函數 功能
find(‘標籤’,class=‘屬性’) 查找單個標籤
find_all() 查找所有標籤
find_parents() 搜索所有⽗親
find_parrent() 搜索單個⽗親
find_next_siblings() 搜索所有兄弟
find_next_sibling() 搜索單個兄弟
find_previous_siblings() 往上搜索所有兄弟
find_previous_sibling() 往上搜索單個兄弟
find_all_next() 往下搜索所有元素
find_next() 往下查找單個元素 
find_all(self, name=None, attrs={}, recursive=True, text=None,limit=None, **kwargs)
name : tag 名稱
attrs ：標籤的屬性
recursive : 是否遞歸
text : 文本內容
limit : 限制返回的條數
**kwargs ：不定長參數 以關鍵字來傳參

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""


soup = BeautifulSoup(html_doc,'lxml')

# find_all(self, name=None, attrs={}, recursive=True, text=None,
#                  limit=None, **kwargs)
# name : tag 名稱
# attrs ：標籤的屬性
# recursive : 是否遞歸
# text : 文本內容
# limit : 限制返回的條數
# **kwargs ：不定長參數 以關鍵字來傳參
# a_tags = soup.find_all('a')

# p_tags = soup.find_all('p','title')



# print(soup.find_all(id = 'link1'))
# print(soup.find_all('a',limit=2))
# print(soup.a)
# print(soup.find('a'))

# print(soup.find_all('a',recursive=True))

# print(soup.find_all('a',limit=1)[0])
# print(soup.find('a'))

# find_parents() 搜索所有父親
# find_parrent() 搜索單個父親
# find_next_siblings()搜索所有兄弟
# find_next_sibling()搜索單個兄弟

title_tag = soup.title

# print(title_tag.find_parent('head')) # <head><title>The Dormouse's story</title></head>

s = soup.find(text = 'Elsie')

# print(s.find_previous('p'))
# print(s.find_parents('p'))

# a_tag = soup.a
#
# # print(a_tag)
# #
# # print(a_tag.find_next_sibling('a'))
#
# print(a_tag.find_next_siblings('a'))


# find_previous_siblings() 往上搜索所有兄弟
# find_previous_sibling() 往上搜索單個兄弟
# find_all_next() 往下搜索所有元素
# find_next()往下查找單個元素

a_tag = soup.find(id='link3')

# print(a_tag)

# print(a_tag.find_previous_sibling())

# print(a_tag.find_previous_siblings())

p_tag = soup.p

# print(p_tag.find_all_next())

print(p_tag.find_next('a'))

6.9 修改文檔樹

  • 修改tag的名稱和屬性

  • 修改string 屬性賦值,就相當於⽤當前的內容替代了原來的內容

  • append() 像tag中添加內容,就好像Python的列表的 .append() ⽅法

  • decompose() 修改刪除段落，對於⼀些沒有必要的⽂章段落我們可以給他刪除掉

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

soup = BeautifulSoup(html_doc,'lxml')

# 1.修改tag的名稱和屬性

# tag_p = soup.p
# print(tag_p)

# tag_p.name = 'w' # 修改名稱
# tag_p['class'] = 'content' # 修改屬性

# print(tag_p)


# 2. 修改string
tag_p = soup.p
# print(tag_p.string)

# tag_p.string = '521 wo ai ni men'

# print(tag_p.string)


# 3.tag.append() 方法 向tag中添加內容

# print(tag_p)
# tag_p.append('hahaha')
# print(tag_p)

# 4.decompose() 修改刪除段落

result = soup.find(class_ = 'title')

result.decompose()

print(soup)

6.10 爬取天氣網數據

  • 知識點
    • find('div',class='conMidtab'):根據標籤屬性獲取數據
    • table.find_all('tr')[2:]:過濾掉前兩個tr
    • enumerate 返回2個值，第一個是下標 第二個是下標所對應的元素
    • BeautifulSoup中有兩種解析方式html和html5lib
import requests

from bs4 import BeautifulSoup

# 定義一個函數來解析網頁
def parse_page(url):

    response = requests.get(url)
    # 解決亂碼
    text = response.content.decode('utf-8')
    soup = BeautifulSoup(text,'html5lib') # pip install html5lib
    # 網頁解析
    # 一、class="conMidtab"
    conMidtab = soup.find('div',class_='conMidtab')
    # print(conMidtab)
    # 二、table
    tables = conMidtab.find_all('table')
    # print(tables)

    for table in tables:
        # print(table)
        # 三、tr 過濾掉去前2個
        trs = table.find_all('tr')[2:]
        # enumerate 返回2個值第一個是下標 第二個下標所對應的元素
        for index,tr in enumerate(trs):
            # print(tr)
            tds = tr.find_all('td')

            # 判斷
            city_td = tds[0] # 城市

            if index == 0:
                city_td = tds[1] # 省會


            # 獲取一個標籤下面的子孫節點的文本信息
            city = list(city_td.stripped_strings)[0]

            temp_td = tds[-2]
            temp = list(temp_td.stripped_strings)[0]
            print('城市:',city,'溫度:',temp)
        # break # 先打印北京

    # 四、td

    # print(text)


def main():

    url = 'http://www.weather.com.cn/textFC/hb.shtml' # 華東
    # url = 'http://www.weather.com.cn/textFC/db.shtml' # 東北
    url = 'http://www.weather.com.cn/textFC/gat.shtml' # 港澳臺

    urls = ['http://www.weather.com.cn/textFC/hb.shtml','http://www.weather.com.cn/textFC/db.shtml' ,'http://www.weather.com.cn/textFC/gat.shtml']

    for url in urls:
        parse_page(url)


if __name__ == '__main__':


    main()
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

網絡爬蟲的祕密：如何高效地抓取JD.com視頻鏈接

在這個數據驅動的時代，信息就是力量。而在這片信息的海洋中，爬蟲技術就像是一艘靈活的潛水艇，讓我們能夠深入海底，探尋那些隱藏的寶藏。今天，我將帶領大家一起踏上一場奇妙的探險之旅，我們將使用Python這把瑞士軍刀，搭配RoboBrowser

原創 2024-05-18 00:07:59

記一次有點抽象的滲透經歷

0x01 獲取webshell 在各種信息蒐集中，發現某個ip的端口掛着一個比較老的服務。 首先看到了員工工號和手機號的雙重驗證，也不知道賬號是什麼結構組成的，基本上放棄字典爆破這一條路。於是乎打開之前用燈塔的掃描結果，看看文件泄露是否

原創 2024-05-17 23:16:30

地理數據可視化的神奇組合：Python和Geopandas

本文分享自華爲雲社區《Python與Geopandas：地理數據可視化與分析指南》，作者：檸檬味擁抱。 地理數據可視化在許多領域都是至關重要的，無論是研究地理空間分佈、城市規劃、環境保護還是商業決策。Python語言以其強大的數據處理和可視

原創 2024-05-15 10:59:41

Scrapy爬蟲：利用代理服務器爬取熱門網站數據

在當今數字化時代，互聯網上充斥着大量寶貴的數據資源，而爬蟲技術作爲一種高效獲取網絡數據的方式，受到了廣泛的關注和應用。本文將介紹如何使用Scrapy爬蟲框架，結合代理服務器，實現對熱門網站數據的高效爬取，以抖音爲案例進行說明。 1. 簡

原創 2024-05-15 00:08:57

Python函數與模塊的精髓與高級特性

本文分享自華爲雲社區《Python函數與模塊的精髓與高級特性》，作者：檸檬味擁抱。 Python 是一種功能強大的編程語言，擁有豐富的函數和模塊，使得開發者能夠輕鬆地構建複雜的應用程序。本文將介紹 Python 中函數和模塊的基本使用方法，

原創 2024-05-14 11:00:07

利用pyinstaller打包Python程序爲一個可執行文件

有時，Python發佈的程序需要被打包爲一個文件夾、甚至一個文件發佈。 目前（2020）最佳的策略是使用pyinstaller。 pyinstaller不僅支持打包整個運行環境到一個可執行文件，而且還支持加密。 但唯一的問題是，必須依賴

osc_hwc3munb 2024-05-14 02:04:34

做開發我是認真的！要麼不做，要麼全力以赴 | 每日趣聞

戳一戳小程序查看更多！ 往 期 趣 聞 ☞你拖後腿了嗎？11 月份程序員工資出爐~ | 每日趣聞 ☞計算機專業會修電腦實錘！| 每日趣聞 ☞IT 行業這麼廣，你的職業規劃是什麼？| 每日趣聞 ☞奔潰啦~希望 Python 可

osc_r0irdqn7 2024-05-14 01:47:34

anaconda和pycharm區別是什麼?Python學習!

　　學習Python的人，肯定聽說過anaconda和pycharm，但是很多人傻傻分不清楚它們之間有什麼區別，今天小編帶大家好好了解一下。 　　Anaconda： 　　是一個Python發行版，包含了conda、Python等180多個

osc_r0irdqn7 2024-05-14 01:47:30

Python爬蟲進階必備 | MD5 hash 案例解析彙總（一）

上次鹹魚對關於 MD5 hash 的JS加密方法做了總結，這次把鹹魚遇到的 MD5 hash 的案例做了彙總，這個彙總系列會持續更新，攢到一定數量的網站就發一次。 關於 MD5 HASH 的處理可以參考下面這篇文章： Python爬蟲進

osc_hzf6peqc 2024-05-14 01:40:15

爲程序員和新手準備的 8 大 Python 工具

Python 是一種開源編程語言，用於 Web 編程、數據科學、人工智能和許多科學應用。學習 Python 使程序員能夠專注於解決問題，而不是專注於語法，其豐富的庫賦予它完成偉大任務所需的力量。 1) IDLE 安裝 Python 時

osc_7cws6vmd 2024-05-14 01:06:43

【編測編學】自動化測試面試必背（上）

1、你會封裝自動化測試框架嗎？這個問得最多，甚至有很多公司直接寫在招聘要求中。自動化框架主要的核心框架就是分層+PO模式：分別爲：基礎封裝層BasePage，PO頁面對象層，TestCase測試用例層。然後再加上日誌處理模塊，ini配置文

osc_pjx77r92 2024-05-14 00:41:23

樹莓派真是個讓人慾罷不能的“小妖精”

大晚上不睡覺、枸杞泡起來@我 一個月之前、自從入了樹莓派4b 8g板之後、就無法自拔，上班除了開發業務代碼和搭建內部UI組件庫之外，就是不亦樂乎的學習docker、mysql、mongodb、php、python、frp等，採購了阿里雲E

osc_51airx3z 2024-05-14 00:37:28

用python畫出全球疫情趨勢變化圖

前言 文的文字及圖片來源於網絡,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯繫我們以作處理。 作者：謙睿科技 PS：如有需要Python學習資料的小夥伴可以加點擊下方鏈接自行獲取http://t.cn/A6Z

osc_t1bxxmjp 2024-05-14 00:03:10

複雜嵌套字典數據結構處理庫-glom

經常遇到複雜嵌套字典數據，我們都是這麼寫的 data = {'a': {'b': {'c': 'd'}}} print(data['a']['b']['c']) 'd' 然後經常遇到這個bug data2 = {'a': {'b':

osc_61miaq6u 2024-05-13 22:58:14

我宣佈，這是我找到的史上AI最全論文體系！

在碎片化閱讀充斥眼球的時代，越來越少的人會去關注每篇論文背後的探索和思考。 搞AI，不少人都進入一個誤區，那就是隻鑽研自己的代碼是否精進，而沒有注意提升自己的閱讀能力。實際上，一個專業的學術研究員或者AI研究員可能需要花費幾百個小

osc_m6gaz63w 2024-05-13 21:33:50