"""
通用爬蟲:靜態
聚焦爬蟲:靜態
增量式爬蟲:實時爬取網站的最新數據。
Http協議:應用層協議
user-Agent 請求載體的信息
connection 請求完畢後,是斷開還是保持連接
Content-type 服務器響應給客戶端的數據類型
Https協議
安全的http協議。數據加密。
對稱密鑰
非對稱密鑰
證書密鑰 :https採用的
URLlib模塊,request模塊是前者的高級版
作用:模擬瀏覽器發請求
1 指定URL
2 發起請求
3 獲取響應數據
4 持久化存儲
"""
import requests
if __name__=="__main__":
#1 指定URL
url = 'https://blog.csdn.net/LVGAOYANH'
#發起請求
response = requests.get(url=url)
#獲取響應數據
page_text = response.text
print(page_text)
#持久化存儲
with open("h:\\test.txt",'w',encoding='utf-8')as fp:
fp.write(page_text)
print("爬取數據完畢")