前陣子有位朋友諮詢了永恆君,想抓取地圖上的一些信息,如下圖:
網址是:https://dealershop.vaillant.com.cn/index.html
這個網頁的地圖上標註了很多的家電門店,這位朋友想抓取這些門店的信息,問web scraper是否可以實現?
據永恆君瞭解,web scraper是沒有辦法處理這類的問題的。
當然就不是說沒有辦法來對付這個問題,可以試試我們的老盆友python啊。
通過查看網頁源代碼,可以看到數據並不在網頁源代碼當中。
這個時候就要去想法子找到數據的真實請求地址了,方法就是在F12-network中進行查找,這裏需要一些耐心和細心。
通過一番查找,鎖定了一個form1.ashx的文件,能看到請求的結果就是我們需要的數據,進而查找到了請求的源地址。
可以看到,這是一個post請求。
具體的代碼就不貼了,這裏直接上演示效果:
提取的門店數據,很詳盡。
當然啦,代碼可能不具有普遍適用性,主要是幫助理解解決問題的思路和方法。
如果你感興趣的話,可以聯繫我獲取py文件。
歡迎交流!