一、寫在前面
週末閒來無事，最近在關心房子的問題，就突發奇想寫個博客，正好把之前學習的知識複習整理一下，也爲需要買房的同事提供一點點啓發。整個搞完工作量不小，算是一個小項目。過程有兩大部分，一是宜昌（夷陵區）房源數據獲取，二是對獲取的數據進行分析，發現一些有趣問題與現象。
二、數據獲取
在網上獲取數據首先想到的肯定是寫爬蟲。關於爬蟲目前我只會寫一些簡單的，大神專屬Scrapy框架暫時不會用，但對於常規數據爬取（電影信息、圖片、評論等）已經夠了。這裏需要友情感謝一下鏈家網，對於爬蟲新手簡直不要太友好，不會擔心把人家網站搞崩潰，相當於鏈家在告訴你：“沒事，我網站裏的資源你隨便爬，網站崩了算我輸”。爬蟲代碼如下，這裏就不多bb了，熟悉的能看懂，不熟悉的童鞋就來看熱鬧吧O(∩_∩)O~
import requests
from lxml import etree
import pandas as pd
import re
headers={
'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3868.400'
}
class House_price_analyze:
def __init__(self,city_name,district_name,house_num):
self.city_name = city_name
self.district_name = district_name
self.house_num = house_num
self.urls = []
def Page_urls(self):
for i in range(1, int(self.house_num / 30) + 1):
out_url = 'https://'+self.city_name+'.lianjia.com/ershoufang/'+self.district_name+'/pg' + str(i) + '/'
response = requests.get(out_url,headers=headers)
res_xpath = etree.HTML(response.text)
inner_url = res_xpath.xpath("//ul[@class='sellListContent']/li/a/@href")
for item in inner_url:
self.urls.append(item)
def Basic_information(self):
self.Data = []
self.success_count = 0
self.fail_count = 0
for url in self.urls:
response = requests.get(url,headers=headers)
try:
introduce = re.findall(r"<title>(.*?)</title>", response.text)[0]
community_name = re.findall(r'class="info no_resblock_a">(.*?)</a>', response.text)[0]
main_info = re.findall(r'<div class="mainInfo">(.*?)</div>', response.text)[0]
area = re.findall(r'</div><div class="area"><div class="mainInfo">(.*?)</div>', response.text)[0]
sub_info = ''.join(re.findall(r'<div class="subInfo">(.*?)</div>', response.text))
unit_price = re.findall(r'<span class="unitPriceValue">(.*?)<i>', response.text)[0]
total_price = re.findall(r'<span class="total">(.*?)</span>', response.text)[0]
pattern = re.findall(r"resblockPosition:'(.*?)'", response.text)[0]
longitude = pattern.split(',')[0]
latitude = pattern.split(',')[1]
data = {
'introduce':introduce,
'community_name':community_name,
'main_info':main_info,
'area':area,
'sub_info':sub_info,
'unit_price':unit_price,
'total_price':total_price,
'longitude':longitude,
'latitude':latitude
}
self.success_count += 1
print(data,'第' + str(self.success_count) + '個爬取成功')
self.Data.append(data)
except:
self.fail_count += 1
print('第' + str(self.fail_count) + '個數據產生異常')
pass
house_data = pd.DataFrame(self.Data)
house_data.to_csv(self.city_name + '_' + self.district_name + '_Basic_infomation.csv')
Yichang = House_price_analyze('yichang', 'yilingqu', 1200)
Yichang.Page_urls()
data = Yichang.Basic_information()
print('抓取成功,共成功抓取抓取{}條信息，失敗{}條'.format(Yichang.success_count,Yichang.fail_count))
這裏採集了1200條夷陵區的房源數據，數據內容包括有（房東描述、小區名字、戶型、樓高、建築結構、是否精裝、面積、總價、均價、地理位置（經緯度））。下圖展示的數據其實不是爬取的原始數據，我在去掉area列尾部的“平米”字符時不小心把sub_info列給刪掉了，不想重新爬（爬一下得半個多小時（┭┮﹏┭┮）），又考慮到對後面數據分析的影響不大，所以就用這個來分析。
二、數據分析
首先用drop_duplicates方法去掉重複44條重複數據，剩下1156條。
1、看一下我們關心的房屋面積、均價、總價數據的整體情況。
import pandas as pd
import seaborn as sns
house_data = pd.read_csv(r'yichang_yilingqu_Basic_infomation.csv')
house_data = house_data.drop_duplicates(subset = 'introduce')
house_data_describe = house_data[['area','unit_price','total_price']]
print(house_data_describe.describe())
運行結果如下：可以發現目前夷陵區房價的均值爲每平米6841元，總價均值爲87.14萬元。
area unit_price total_price
count 1156.000000 1156.000000 1156.000000
mean 126.142189 6841.746540 87.146946
std 52.835946 1403.095185 49.650589
min 34.000000 3424.000000 16.000000
25% 96.460000 5938.750000 63.000000
50% 122.000000 6792.500000 79.800000
75% 137.025000 7613.250000 95.650000
max 738.680000 16322.000000 665.000000
2、繪製面積與總價的散點圖觀察總體數據。如下圖，我們可以觀察到一些比較特殊（離散）的樣本，比如面積超過了700平米或者總價超過400萬的樣本，看到這些樣本，我不禁納悶，面積超過了700平米的是什麼房子？夷陵區還會有房價過400萬的嗎？
sns.scatterplot(x = 'area',y = 'total_price',data = house_data)
我們把面積大於400平米，房價大於400萬的房子揪出來看看怎麼回事。
house_data = house_data[(house_data['area'] > 400) | (house_data['total_price'] > 400)]
print(house_data['introduce'])
運行結果：
266 國賓一號別墅，誠心出售，獨棟獨院_宜昌夷陵區夷陵區國賓一號A區二手房(宜昌鏈家)
320 夷陵萬達旁 稀有獨棟別墅 戶型好 有大花園_宜昌夷陵區夷陵區國賓一號A區二手房(宜昌鏈家)
465 私房整棟出售，一樓門面，二.三.四樓可出租可居住_宜昌夷陵區夷陵區黃金路25號二手房(宜昌鏈家)
600 國賓一號聯排別墅 精裝修業主自住房出租 可看一線湖景_宜昌夷陵區夷陵區國賓一號A區二手房(宜...
963 長江市場繁華地段,獨棟別墅.大花園大露臺_宜昌夷陵區夷陵區瑪歌莊園二手房(宜昌鏈家)
1199 昌耀電力別墅區三層別墅 全新毛坯可以幾代同堂_宜昌夷陵區夷陵區昌耀沁園二手房(宜昌鏈家)
從結果可以看到基本上都是別墅，所以房價高在情理之中。但其中有一個（465號）是整棟樓一起出售，還真是活久見，果然貧窮限制了我的想象。
3、看到這裏，也許有的小夥伴會比較好奇別墅、精裝房的面積與價格會如何分佈？下面用圖直觀展示給大家（這裏我去除了一些離散的樣本，這樣更直觀）。
f, [ax1,ax2] = plt.subplots(1,2,figsize=(10,5))
sns.set_style({
'font.sans-serif':['simhei','Arial']})
sns.scatterplot(x = 'area',y = 'total_price',hue = 'villa',data = house_data,ax = ax1)
ax1.set_title('房屋面積與總價的關係（別墅與商品房）',fontsize = 10)
ax1.set_xlabel('房屋面積')
ax1.set_ylabel('房屋總價')
sns.scatterplot(x = 'area',y = 'total_price',hue = 'hardcover',data = house_data,ax = ax2)
ax2.set_title('房屋面積與總價的關係（精裝與簡裝）',fontsize = 10)
ax2.set_xlabel('房屋面積')
ax2.set_ylabel('房屋總價')
運行結果：可以發現別墅（villa）是真的貴，最便宜的也得150萬，絕大多數都是200w+。接下來看精裝房（hardcover）的樣本：在面積相同的情況下，精裝房的整體總價在非精裝房之上，這點可以很直觀地發現，也很好理解，人家裝修也得花錢對不對，裝修不花錢，那建築工人喫飯總得花錢吧 (｀・ω・´)
4、使用熱力圖來看看夷陵區房子的總體面積與售價情況。
g = sns.jointplot(x=house_data['area'], y=house_data['total_price'], kind="hex", color="b")
g.add_legend()
運行結果：可以發現夷陵區房子面積有兩個集中的區間，分別是85到95，125到135。房價多集中在75w~100w之間。
5、採用分類數據來觀察樣本分佈。主要回答了“夷陵區各種戶型的佔比情況如何？”以及“哪些小區房源比較充足？”兩個問題。
f, [ax1,ax2] = plt.subplots(1,2,figsize=(30,5))
sns.set_style({
'font.sans-serif':['simhei','Arial']})
df_house_count_1 = house_data.groupby('main_info')['total_price'].count().sort_values(ascending=False).to_frame().reset_index()
df_house_count_2 = house_data.groupby('community_name')['total_price'].count().sort_values(ascending=False).to_frame().reset_index()
sns.barplot(x='main_info',y='total_price',data = df_house_count_1[df_house_count_2['total_price'] > 30],ax = ax1)
ax1.set_title('各戶型在售數量',fontsize = 10)
ax1.set_xlabel('戶型')
ax1.set_ylabel('數量(個)')
sns.barplot(x='community_name',y='total_price',data = df_house_count_2[df_house_count_2['total_price'] > 30],ax = ax2)
ax2.set_title('各小區在售數量',fontsize = 10)
ax2.set_xlabel('小區')
ax2.set_ylabel('數量(個)')
運行結果如下：可以發現有超過600套的戶型是3室2廳，整體佔比超過了在售數量的50%。在各小區房源數量上看，恆大綠洲的房源最充足，有70多套，其他幾個主要小區（清江潤城、釣魚臺等）在售都在50套左右，數量尚可。
6、我們知道，市場價格與房源數量肯定是存在關係的，那麼問題就來了：到底哪些小區的房價最高呢？
df = house_data[house_data['total_price'] > 80][['unit_price','community_name','total_price']]
df_1 = df.groupby(df['community_name'])['total_price'].mean().sort_values(ascending = False)[3:10]
df_1.plot(kind = 'bar')
plt.title('總價最高小區')
plt.ylabel('均價(萬)')
運行結果：（這裏我未考慮一些房源較少的小區（比如在售數量 < 5 ），因其定價主觀偏差較大，價格不具有代表性）可以看出，小區均價最高前四是國賓一號、湖錦花園、無石山莊、花語墅。在下面的百度地圖中我們可以看到，貌似這些住宅區都在湖岸、江岸邊，加上別墅加持，房價想跌也跌不下來，大家看看就好╮(╯﹏╰）╭。
8、用百度地圖展示夷陵區房價區域分佈熱力圖。這部分比較複雜，當然最後的展示效果會很好。
首先要將數據中的經緯度和總價信息調出來，並修改成json格式纔可以在百度地圖API中調用。
import pandas as pd
file = open('經緯度總價.json','w')
data = pd.read_csv("yichang_yilingqu_Basic_infomation.csv")
df = data.copy()
columns = ['total_price','longitude','latitude']
df = pd.DataFrame(df,columns=columns)
for i in df.values:
total_price = i[0]
lng = i[1]#獲取經度
lat = i[2]#獲取緯度
str_temp = '{"lat":' + str(lat) + ',"lng":' + str(lng) +',"total_price":'+str(total_price) +'},'
file.write(str_temp)
file.close()
轉換完成後可以在當前文件夾看見名爲“經緯度總價.json”的文件。接下來就開始調用百度地圖API。首先你需要去百度地圖官網註冊一個密匙，這樣纔能有調用入口。註冊完成後，打開這裏，複製源碼編輯器中的所有內容，將密匙修改爲自己註冊的，在var points中將自己json中的所有數據傳進去，後續還可以修改一些參數，使熱力圖更美觀。這裏就不想贅述了，如果有小夥伴不清楚，麻煩點個贊，然後私聊我吧，O(∩_∩)O~
（1）填入密匙
（2）填入座標及價格數據
（3）修改參數
運行結果：顏色越深房價越高，但是這其中我不知道會不會產生多個樣本重疊加在同一地方造成數據變深的問題。例如：假如釣魚臺一號小區房子的均價是6500，因爲這裏樣本較多，本來房價不是很高，但疊加在一起會不會意外使其顏色變深？搞不懂，暫時先這樣，如果有知道的歡迎指正！
從圖中可以看到，夷陵區的房子大量集中在黃柏河附近，因爲這裏是老城區。但同時也可以看到發展大道上的房子不少，房價也不低，可能這裏也是夷陵區未來的發展的重點吧，當然，這也是我從房價方面妄加猜測的。
三、結語
我的天終終終於寫完了！其實這裏面的許多內容以前自己零散得摸索過，只是現在用總結的方式碼出來了，其實碼的過程中非常惱火，一些看起來很容易的操作就是不容易實現，例如怎麼都搞不懂Dataframe的groupby函數，又只能面向百度編程，自己摸着石頭過河，碼起來實屬不易。但再回頭看看這些圖，頓時覺得碼代碼是一個既枯燥又有趣的過程。當然，這個過程中也在不斷學習成長，寫完之後對爬蟲、Dataframe操作、seaborn繪圖熟悉多了，也算是不小的收穫了。之後的學習計劃多研究一下數據結構與算法，希望能早一天學習到寫博客、分享經驗的程度。任何幸福都來自平凡的努力與堅持，大家加油~！