學爬蟲,你敢說你不會 requests 模塊

Hello,我是 Alex 007,一個熱愛計算機編程和硬件設計的小白,爲啥是007呢?因爲叫 Alex 的人太多了,再加上每天007的生活,Alex 007就誕生了。

文章目錄

引入

在python實現的網絡爬蟲中,用於網絡請求發送的模塊有兩種,第一種爲urllib模塊,第二種爲requests模塊。urllib模塊是一種比較古老的模塊,在使用的過程中較爲繁瑣和不便。當requests模塊出現後,就快速的代替了urllib模塊,因此,在我們課程中,推薦大家使用requests模塊。

Requests 唯一的一個非轉基因的 Python HTTP 庫,人類可以安全享用。

警告:非專業使用其他 HTTP 庫會導致危險的副作用,包括:安全缺陷症、冗餘代碼症、重新發明輪子症、啃文檔症、抑鬱、頭疼、甚至死亡。

requests模塊是python中原生的基於網絡請求的模塊,其主要作用是用來模擬瀏覽器發起請求。功能強大,用法簡潔高效。在爬蟲領域中佔據着半壁江山的地位。

流程

指定url

基於requests模塊發起請求

獲取響應對象中的數據值

持久化存儲

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章