網絡爬蟲筆記--02

這是一篇學習筆記，看了一點嵩天教授的Python網絡爬蟲與信息提取課程，又看了datawhale給的代碼例子，把學習要點列在這裏

2.1 Beautiful Soup庫入門

1. 學習beautifulsoup基礎知識。
2. 使用beautifulsoup解析HTML頁面。
   • Beautiful Soup 是一個HTML/XML 的解析器，主要用於解析和提取 HTML/XML 數據。
   • 它基於HTML DOM 的，會載入整個文檔，解析整個DOM樹，因此時間和內存開銷都會大很多，所以性能要低於lxml。
   • BeautifulSoup 用來解析 HTML 比較簡單，API非常人性化，支持CSS選擇器、Python標準庫中的HTML解析器，也支持 lxml 的 XML解析器。
   • 雖然說BeautifulSoup4 簡單容易比較上手，但是匹配效率還是遠遠不如正則以及xpath的，一般不推薦使用，推薦正則的使用。

• 第一步：pip install beautifulsoup4 ，萬事開頭難，先安裝 beautifulsoup4，安裝成功後就完成了第一步。
• 第二步：導入from bs4 import BeautifulSoup
• 第三步：創建 Beautiful Soup對象 soup = BeautifulSoup(html，'html.parser')

2.1.1 Beautiful Soup庫的基本元素

1. Beautiful Soup庫的理解： Beautiful Soup庫是解析、遍歷、維護“標籤樹”的功能庫，對應一個HTML/XML文檔的全部內容
2. BeautifulSoup類的基本元素:
   • Tag 標籤，最基本的信息組織單元，分別用<>和</>標明開頭和結尾；
   • Name 標籤的名字，<p>…</p>的名字是'p'，格式：<tag>.name;
   • Attributes 標籤的屬性，字典形式組織，格式：<tag>.attrs;
   • NavigableString 標籤內非屬性字符串，<>…</>中字符串，格式：<tag>.string;
   • Comment 標籤內字符串的註釋部分，一種特殊的Comment類型;

2.1.2 基於bs4庫的HTML內容遍歷方法

HTML基本格式:<>…</>構成了所屬關係，形成了標籤的樹形結構

• 標籤樹的下行遍歷
  • .contents 子節點的列表，將<tag>所有兒子節點存入列表
  • .children 子節點的迭代類型，與.contents類似，用於循環遍歷兒子節點
  • .descendants 子孫節點的迭代類型，包含所有子孫節點，用於循環遍歷
• 標籤樹的上行遍
  • .parent 節點的父親標籤
  • .parents 節點先輩標籤的迭代類型，用於循環遍歷先輩節點
• 標籤樹的平行遍歷
  • .next_sibling 返回按照HTML文本順序的下一個平行節點標籤
  • .previous_sibling 返回按照HTML文本順序的上一個平行節點標籤
  • .next_siblings 迭代類型，返回按照HTML文本順序的後續所有平行節點標籤
  • .previous_siblings 迭代類型，返回按照HTML文本順序的前續所有平行節點標籤

2.1.3 基於bs4庫的HTML內容的查找方法

• <>.find_all(name, attrs, recursive, string, **kwargs)
  • 參數：
  • ∙ name : 對標籤名稱的檢索字符串
  • ∙ attrs: 對標籤屬性值的檢索字符串，可標註屬性檢索
  • ∙ recursive: 是否對子孫全部檢索，默認True
  • ∙ string: <>…</>中字符串區域的檢索字符串
    • 簡寫：
    • <tag>(..) 等價於 <tag>.find_all(..)
    • soup(..) 等價於 soup.find_all(..)
• 擴展方法：
  • <>.find() 搜索且只返回一個結果，同.find_all()參數
  • <>.find_parents() 在先輩節點中搜索，返回列表類型，同.find_all()參數
  • <>.find_parent() 在先輩節點中返回一個結果，同.find()參數
  • <>.find_next_siblings() 在後續平行節點中搜索，返回列表類型，同.find_all()參數
  • <>.find_next_sibling() 在後續平行節點中返回一個結果，同.find()參數
  • <>.find_previous_siblings() 在前序平行節點中搜索，返回列表類型，同.find_all()參數
  • <>.find_previous_sibling() 在前序平行節點中返回一個結果，同.find()參數

2.1.4 實戰：中國大學排名定向爬取

• 爬取url：http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html
• 爬取思路：
  1. 從網絡上獲取大學排名網頁內容
  2. 提取網頁內容中信息到合適的數據結構（二維數組）-排名，學校名稱，總分
  3. 利用數據結構展示並輸出結果