9.【基礎】波士頓房價預測--KNN Regression

本文所有實現代碼均來自《Python機器學習及實戰》

#-*- coding:utf-8 -*-

#說明：前面的數據讀取、分割、標準化處理還是採用上一講的代碼，只是模型的訓練換成了KNN迴歸模型

#第一步：讀取波士頓房價數據
from sklearn.datasets import load_boston
boston = load_boston()
print boston.DESCR
#從輸出結果來看，該數據共有506條波士頓房價的數據，每條數據包括對指定房屋的13項數值型特徵和目標房價  
#此外，該數據中沒有缺失的屬性/特徵值，更加方便了後續的分析

#第二步：波士頓房價數據分割
from sklearn.cross_validation import train_test_split
import numpy as np
X_train,X_test,y_train,y_test = train_test_split(boston.data,boston.target,test_size=0.25,random_state=33)
#分析迴歸目標值的差異
print 'The max target value is ',np.max(boston.target)
print 'The min target value is ',np.min(boston.target)
print 'The average target value is ',np.mean(boston.target)

#第三步：訓練數據和測試數據標準化處理
from sklearn.preprocessing import StandardScaler
#分別初始化對特徵值和目標值的標準化器
ss_X = StandardScaler()
ss_y = StandardScaler()
#訓練數據都是數值型，所以要標準化處理
X_train = ss_X.fit_transform(X_train)
X_test = ss_X.transform(X_test)
#目標數據（房價預測值）也是數值型，所以也要標準化處理
#說明一下：fit_transform與transform都要求操作2D數據，而此時的y_train與y_test都是1D的，因此需要調用reshape(-1,1)，例如：[1,2,3]變成[[1],[2],[3]]
y_train = ss_y.fit_transform(y_train.reshape(-1,1))
y_test = ss_y.transform(y_test.reshape(-1,1))

#第四步：使用兩種不同配置的K近鄰迴歸模型進行訓練，並且分別對測試數據進行預測
from sklearn.neighbors import KNeighborsRegressor
#1.初始化k近鄰迴歸器，並且調整配置，使得預測方式爲平均迴歸：weights = 'uniform'
uni_knr = KNeighborsRegressor(weights='uniform')
uni_knr.fit(X_train,y_train)
uni_knr_y_predict = uni_knr.predict(X_test)
#2.初始化k近鄰迴歸器，並且調整配置，使得預測方式爲根據距離加權迴歸：weights = 'distance'
dis_knr = KNeighborsRegressor(weights='distance')
dis_knr.fit(X_train,y_train)
dis_knr_y_predict = dis_knr.predict(X_test)

#第五步：對兩種配置下的k近鄰迴歸模型在相同測試集下進行性能評估
#使用R-squared、MSE、MAE指標評估
from sklearn.metrics import r2_score,mean_absolute_error,mean_squared_error
#1.預測方式爲平均迴歸的KNR
print 'R-squared value of uniform-weighted KNR is',uni_knr.score(X_test,y_test)
print 'the MSE of uniform-weighted KNR is',mean_squared_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(uni_knr_y_predict))
print 'the MAE of uniform-weighted KNR is',mean_absolute_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(uni_knr_y_predict))
#2.預測方式爲根據加權距離的KNR
print 'R-squared value of distance-weighted KNR is',dis_knr.score(X_test,y_test)
print 'the MSE of distance-weighted KNR is',mean_squared_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(dis_knr_y_predict))
print 'the MAE of distance-weighted KNR is',mean_absolute_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(dis_knr_y_predict))

#總結：
#k近鄰（迴歸）同樣也是無參數模型，計算方法非常直觀
#從結果可以看出，K近鄰加權平均的迴歸模型可以獲得較高的模型性能