selenium庫可以指揮瀏覽器自動工作,除了正常的安裝調用之外,還需要設置瀏覽器引擎。
優點:簡單直觀;缺點:爬取大量數據時,有點慢;通常是其他方法無法解決或者很難解決時纔會用到這個庫。
例
# 本地Chrome瀏覽器設置方法
from selenium import webdriver #從selenium庫中調用webdriver模塊
driver = webdriver.Chrome() # 設置引擎爲Chrome,真實地打開一個Chrome瀏覽器
1.獲取數據
2.解析數據
#提取一個元素
#提取多個元素,把element換成elements
3.提取數據
4.自動操作瀏覽器
5.瀏覽器靜默模式