幾個非常適合新手練習python爬蟲的網頁,總有一款能搞定!

這裏寫圖片描述
幾個非常適合新手練習python爬蟲的網頁,總有一款能搞定!
話不多說,直接乾貨了!

頭條圖集:抓包獲取json數據
打開今日頭條主頁,搜索小姐姐,或者其他你感興趣的內容,然後點擊圖集

這裏寫圖片描述

動態加載的json數據就出來了,沒有反爬,注意的是,如果不想去內容裏面抓圖片的話,可以只抓縮略圖,就是這個頁面顯示的圖片,它在json數據中的image_list中,注意,將url中的list換成origin,就是大圖哦!代碼如下

這裏寫圖片描述
所有的圖片地址都出來了!

全書網:直接源碼匹配重點內容相關內容
直接搜索全書網,打開主頁,隨便找一篇小說,比如《盜墓筆記》,點擊後跳轉到網頁,在點擊開始閱讀,出現了所有章節,在進入章節就出現了小說內容,網頁內容和代碼如下:

這裏寫圖片描述

python學習交流羣542110741

80電子書:匹配到地址直接下載壓縮文件
80電子書網和上面的全書網比較類似,但是它本身提供有下載功能,可以直接用小說Id和名字直接構建下載文件,頁面截圖和代碼:

這裏寫圖片描述

python學習交流羣542110741
python學習交流羣542110741
這裏寫圖片描述
其他類似網站

類似的網站還有:妹子圖網、美桌網、筆趣閣、久久等等甚至百度圖片也可以用抓包獲取數據的!

以上代碼都是隨手寫的,沒有排版,大家有興趣可以自己排下版,或者比如小說網站,可以先抓取大類別,然後在每一個類別中獲取所有小說,最後在把所有小說的內容抓出來,這樣就是全站爬蟲了!!!

這裏寫圖片描述

如果大家還有什麼適合的網站,希望能在評論區裏共享下哦!大家一起交流下!

發佈了32 篇原創文章 · 獲贊 41 · 訪問量 7萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章