思路
1. 分析目標網頁,確定爬取的 url 路徑
2. 發送請求 requests 模擬瀏覽器發送請求,獲取響應數據
3. 解析數據
4. 保存數據
使用谷歌瀏覽器
- 打開王者榮耀官網
- 找到英雄資料
- 調出檢查工具
- 點擊network
- 選擇XHR過濾器(服務器與客戶端交互的數據會放在XHR過濾器中)
- 點擊重新加載,可以看到herolist.json文件
- 雙擊下載
- 下載後可以看到裏邊的數據整體來說是列表類型的,其中的每一個元素是字典類型的(鍵值對)
1. 分析目標網頁,確定爬取的 url 路徑
2. 發送請求 requests 模擬瀏覽器發送請求,獲取響應數據
3. 解析數據
4. 保存數據
使用谷歌瀏覽器