Python Selenium 獲取頁面所有文本內容

分享知識  傳遞快樂

 

用 Selenium 爬蟲獲取網頁上顯示的文本，首先安裝 lxml 模塊：

pip install lxml

代碼：

driver = webdriver.Chrome()
driver.maximize_window()
driver.get("url")

# 獲取頁面源代碼
html_source = driver.page_source
# 重點
html = lxml.html.fromstring(html_source)
# 獲取標籤下所有文本
items = html.xpath("//div[@id='y_prodsingle']//text()")
# 正則 匹配以下內容 \s+ 首空格 \s+$ 尾空格 \n 換行
pattern = re.compile("^\s+|\s+$|\n")

clause_text = ""
for item in items:
	# 將匹配到的內容用空替換，即去除匹配的內容，只留下文本
	line = re.sub(pattern, "", item)
	if len(line) > 0:
		clause_text += line + "\n"
	#
#
print(clause_text)

 

參考：

Python lxml 從網頁HTML/XML提取數據

 

 

如果您另有獲取頁面文本的方法請留言。

 

 

 

 

 

 

 

—————————
如有不足請留言指正
相互學習，共同進步