爬取網頁動態數據

有一定基礎的都知道,想要爬取某個網頁的數據,按住F12會彈出一個窗口。

如圖所示:


點擊圖中的的NetWork後,點擊網頁上的內容,即可看到NetWork中的數據不斷改變,這是因爲正在加載你的點擊事件所需的數據。靜態數據可以通過jsoup爬取(不明白的可以看)。

而對於動態數據(如下所示):



隨着點擊所有英雄、戰士、法師等,jSearchHeroDiv中的li列表是不斷變化的,那麼我們如何獲取這些動態數據呢?

打開Sources(Network旁邊)我們會發現其中會有一些js包,沒錯,這些js包就是我們需要的(重新刷新該網頁,不然有時無法獲取到動態數據的js包),如下:


你會發現其中有很多js包,當然一般你所需的數據都在第一個文件夾中,找到你所需要的js包(推薦使用一些編碼轉換工具、試圖查看工具(如http://tool.chinaz.com/tools/unicode.asp ,http://www.bejson.com/jsonviewernew),這樣可以很清楚的查看這個js是否是自己所需的js),這個js包中就存儲了我們所需的動態數據,打開js文件,你會發現全是字符串,別急,你會發現這個文件後面就是JSON數據,這時你只需要對其進行解析,就可以得到你所需的數據了


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章