request爬蟲基礎模板

爬取內容爲百度百科,保存在同目錄的1.html下,更改了headers作爲隱藏

import requests
from bs4 import BeautifulSoup

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'
}

r = requests.get("https://baike.baidu.com/item/李隆基", headers=headers)
r.encoding = r.apparent_encoding


f1 = open("1.html", "w", encoding="UTF-8")
f1.write(r.text)
f1.close()

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章