Hello,我是 Alex 007,一個熱愛計算機編程和硬件設計的小白,爲啥是007呢?因爲叫 Alex 的人太多了,再加上每天007的生活,Alex 007就誕生了。
引入
在python實現的網絡爬蟲中,用於網絡請求發送的模塊有兩種,第一種爲urllib模塊,第二種爲requests模塊。urllib模塊是一種比較古老的模塊,在使用的過程中較爲繁瑣和不便。當requests模塊出現後,就快速的代替了urllib模塊,因此,在我們課程中,推薦大家使用requests模塊。
Requests 唯一的一個非轉基因的 Python HTTP 庫,人類可以安全享用。
警告:非專業使用其他 HTTP 庫會導致危險的副作用,包括:安全缺陷症、冗餘代碼症、重新發明輪子症、啃文檔症、抑鬱、頭疼、甚至死亡。
requests模塊是python中原生的基於網絡請求的模塊,其主要作用是用來模擬瀏覽器發起請求。功能強大,用法簡潔高效。在爬蟲領域中佔據着半壁江山的地位。
流程
指定url
基於requests模塊發起請求
獲取響應對象中的數據值
持久化存儲