用python輕鬆獲取地圖中的門店信息

前陣子有位朋友諮詢了永恆君,想抓取地圖上的一些信息,如下圖:

網址是:https://dealershop.vaillant.com.cn/index.html

這個網頁的地圖上標註了很多的家電門店,這位朋友想抓取這些門店的信息,問web scraper是否可以實現?

據永恆君瞭解,web scraper是沒有辦法處理這類的問題的。

當然就不是說沒有辦法來對付這個問題,可以試試我們的老盆友python啊。

通過查看網頁源代碼,可以看到數據並不在網頁源代碼當中。

這個時候就要去想法子找到數據的真實請求地址了,方法就是在F12-network中進行查找,這裏需要一些耐心和細心。

通過一番查找,鎖定了一個form1.ashx的文件,能看到請求的結果就是我們需要的數據,進而查找到了請求的源地址。

可以看到,這是一個post請求。

具體的代碼就不貼了,這裏直接上演示效果:

提取的門店數據,很詳盡。

當然啦,代碼可能不具有普遍適用性,主要是幫助理解解決問題的思路和方法

如果你感興趣的話,可以聯繫我獲取py文件。

歡迎交流!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章