原创 python爬蟲獲取小區經緯度以及結構化地址

這篇文章主要爲大家詳細介紹了python爬蟲獲取小區經緯度,以及結構化的地址,具有一定的參考價值,感興趣的小夥伴們可以參考一下 本文實例爲大家分享了python爬蟲獲取小區經緯度、地址的具體代碼,供大家參考,具體內

原创 Python獲取城市美食、地鐵、中小學、商場及超市信息

這次是收集一些感興趣的POI在各個城市的分佈,以及信息。由於百度API的特質,一次最多能返回400個信息,所以就需要將整個城市做一個分割,然後分塊獲取信息。具體的代碼如下:from urllib import request import

原创 房源匹配最近地鐵站

最近有一個新任務我們作爲基礎數據組需要收集很多基本信息。其中很重要的一個字段就是房源的最近地鐵站和與地鐵的距離爲多少,這對於租戶來說,是影響租房與否以及願意支付價格的重要因素。class MatchSubway: def __in

原创 構建決策樹對於流失用戶進行分類

    最近被分配到商業分析組配合商業分析師對流失掉的客戶進行研究。我最先接到的任務是根據客服部門記錄的客戶的流失原因,對於這些客戶的流失原因做分類。商業分析師給我提供了23個類別,要求我把客戶都分到這些類中。最開始我企圖通過建立關鍵詞規

原创 pandas數據清洗(1)

import pandas as pd import numpy as np data = pd.read_excel('EDA.xlsx') data.head()//此數據純屬捏造,不代表任何事實   序號 民族 ZCQ_JY10

原创 Python爬蟲獲取樓盤信息

    在一家線上租房的公司已經實習兩週了。作爲實習生,所以日常的工作主要是收集和整理全國各小區的信息,比如小區的建成年代,是否有電梯,小區的門牌數等。因爲我不太喜歡用複製粘貼這種效率低的工作方式,所以寫了一個簡單的Python程序,相對

原创 房源對應地鐵站的直線距離計算

import pandas as pd import numpy as np class Distance: def __init__(self,data): assert ('name' in data.colu

原创 從China Webmaster上收集房地產網站排名、網址和簡介

    今天CX姐要求我從China Webmaster上收集排名前200名的房地產網站的排名、網址和簡介以及評分信息。在完成任務之後我把程序重新優化了一下,寫成了一個類,方便下次重複使用。最終的返回結果是一個pandas中的datafr

原创 Python爬蟲獲取小區經緯度以及獲取結構化的地址

    通過小區名稱利用百度api可以獲取小區的地址以及經緯度,但是由於api返回的值中的地址形式不同,所以可以首先利用小區名稱進行一輪爬蟲,獲取小區的經緯度,然後再利用經緯度Reverse到小區的結構化的地址。另外小區名稱如果是'...

原创 從百度地圖api獲取地鐵站經緯度

class GetInfo: def __init__(self,df): import pandas assert type(df) == pandas.core.frame.DataFrame