用python轻松获取地图中的门店信息

前阵子有位朋友咨询了永恒君,想抓取地图上的一些信息,如下图:

网址是:https://dealershop.vaillant.com.cn/index.html

这个网页的地图上标注了很多的家电门店,这位朋友想抓取这些门店的信息,问web scraper是否可以实现?

据永恒君了解,web scraper是没有办法处理这类的问题的。

当然就不是说没有办法来对付这个问题,可以试试我们的老盆友python啊。

通过查看网页源代码,可以看到数据并不在网页源代码当中。

这个时候就要去想法子找到数据的真实请求地址了,方法就是在F12-network中进行查找,这里需要一些耐心和细心。

通过一番查找,锁定了一个form1.ashx的文件,能看到请求的结果就是我们需要的数据,进而查找到了请求的源地址。

可以看到,这是一个post请求。

具体的代码就不贴了,这里直接上演示效果:

提取的门店数据,很详尽。

当然啦,代码可能不具有普遍适用性,主要是帮助理解解决问题的思路和方法

如果你感兴趣的话,可以联系我获取py文件。

欢迎交流!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章