python爬蟲【二】爬取新聞

在一個新聞站點或者絢麗的網頁會有許多id和class 我們可以通過觀察來看到我們需要的信息在那些id和class下

但是這裏介紹兩種快速便捷的方法

第一種使用谷歌瀏覽器自帶的開發者工具

 

 或者安裝infolite插件安裝方法看這篇https://blog.csdn.net/viafcccy/article/details/85221588

點擊打開infolite工具

直接點擊需要的位置就可出現相應的語句

 

可以看到紅色的和我們需要的不一樣是廣告

我們通過觀察可以發現

 

我們使用這兩個工具 就可以快速爬取指定的標籤

impot requests
from bs4 import BeautifulSoup
res = requests.get('url')
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text,'html.parser')
for news in soup.select('.類的名稱'):
	if len(news.select('標籤名稱')) > 0:
		變量名 = news.select('.類名稱/標籤名')[0].text
		print(變量名)