[ Python ] 爬蟲類庫學習之 bs4，爬取整本《三國演義》

安裝：pip install bs4，pip install lxml

文檔：https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/

---

對象的實例化

from bs4 import BeautifulSoup

• 1、將本地的html文檔中的數據加載到該對象中

fp = open('./test.html', 'r' , encoding='utf-8' )

soup = BeautifulSoup(fp, 'lxml' )

• 2、將互聯網上獲取的頁面源碼加載到該對象中

response = requests.get(url, data, headers=headers)

page_text = response.text

soup = BeatifulSoup(page_text, 'lxmL')

數據解析的方法和屬性

• 1、標籤定位

soup.tagName  # 返回的是文檔中第一次出現的`tagName`對應的標籤

soup.find('tagName') # 等同於soup.tagName 

soup.find_all('tagName')  # 返回符合要求的所有標籤(列表)

• 2、屬性定位

soup.find( 'div', class_/id/attr= '屬性值')

• 3、select選擇器

select('某種選擇器(id, class, 標籤...選擇器) ')  # 返回的是一個列表。

# 層級選擇器
soup.select('.tang > ul > 1i > a')  # >表示的是一個層級
soup. select('.tang > ul a')  # 空格表示的多個層級

• 4、獲取標籤之間的文本數據

soup.a.text/string/get_text()

text/get_text()  # 可以獲取某一個標籤中所有的文本內容
string  # 只可以獲取該標籤下面直系的文本內容

• 5、獲取標籤中屬性值

soup.a['href']

三國演義

• 爬取三國演義小說
• 爬取鏈接：http://www.shicimingju.com/book/sanguoyanyi.html
  

import requests
from bs4 import BeautifulSoup

if __name__ == '__main__':
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
    }
    url = 'http://www.shicimingju.com/book/sanguoyanyi.html'
    page_text = requests.get(url, headers=headers).text

    soup = BeautifulSoup(page_text, 'lxml')
    li_list = soup.select('.book-mulu > ul > li')
    fp = open('./三國演義.txt', 'w', encoding='utf-8')
    for li in li_list:
        title = li.a.string
        detail_url = 'http://www.shicimingju.com' + li.a['href']
        detail_page_text = requests.get(detail_url, headers=headers).text
        detail_soup = BeautifulSoup(detail_page_text, 'lxml')
        div_tag = detail_soup.find('div', class_='chapter_content')
        content = div_tag.text
        fp.write(title + ':' + content + '\n')
        print(title, '爬取成功！！')

    print('數據爬取結束！！')

來源：爬蟲開發入門丨老男孩IT教育

---