8.【基礎】波士頓房價預測--SVM Regression

本文所有實現代碼均來自《Python機器學習及實戰》

#-*- coding:utf-8 -*-

#說明：前面的數據讀取、分割、標準化處理還是採用上一講的代碼，只是模型的訓練換成了SVM迴歸模型

#第一步：讀取波士頓房價數據
from sklearn.datasets import load_boston
boston = load_boston()
print boston.DESCR
#從輸出結果來看，該數據共有506條波士頓房價的數據，每條數據包括對指定房屋的13項數值型特徵和目標房價  
#此外，該數據中沒有缺失的屬性/特徵值，更加方便了後續的分析

#第二步：波士頓房價數據分割
from sklearn.cross_validation import train_test_split
import numpy as np
X_train,X_test,y_train,y_test = train_test_split(boston.data,boston.target,test_size=0.25,random_state=33)
#分析迴歸目標值的差異
print 'The max target value is ',np.max(boston.target)
print 'The min target value is ',np.min(boston.target)
print 'The average target value is ',np.mean(boston.target)

#第三步：訓練數據和測試數據標準化處理
from sklearn.preprocessing import StandardScaler
#分別初始化對特徵值和目標值的標準化器
ss_X = StandardScaler()
ss_y = StandardScaler()
#訓練數據都是數值型，所以要標準化處理
X_train = ss_X.fit_transform(X_train)
X_test = ss_X.transform(X_test)
#目標數據（房價預測值）也是數值型，所以也要標準化處理
#說明一下：fit_transform與transform都要求操作2D數據，而此時的y_train與y_test都是1D的，因此需要調用reshape(-1,1)，例如：[1,2,3]變成[[1],[2],[3]]
y_train = ss_y.fit_transform(y_train.reshape(-1,1))
y_test = ss_y.transform(y_test.reshape(-1,1))

#第四步：使用三種不同核函數配置的支持向量機迴歸模型進行訓練，並且分別對測試數據進行預測
#從sklearn.svm中導入支持向量機迴歸模型SVR
from sklearn.svm import SVR
#1.使用線性核函數配置的支持向量機進行迴歸訓練並預測
linear_svr = SVR(kernel='linear')
linear_svr.fit(X_train,y_train)
linear_svr_y_predict = linear_svr.predict(X_test)
#2.使用多項式核函數配置的支持向量機進行迴歸訓練並預測
poly_svr = SVR(kernel='poly')
poly_svr.fit(X_train,y_train)
poly_svr_y_predict = poly_svr.predict(X_test)
#3.使用徑向基核函數配置的支持向量機進行迴歸訓練並預測
rbf_svr = SVR(kernel='rbf')
rbf_svr.fit(X_train,y_train)
rbf_svr_y_predict = rbf_svr.predict(X_test)

#第五步：對三種核函數配置下的支持向量機迴歸模型在相同測試集下進行性能評估
#使用R-squared、MSE、MAE指標評估
from sklearn.metrics import r2_score,mean_absolute_error,mean_squared_error
#1.線性核函數配置的SVR
print 'R-squared value of linear SVR is',linear_svr.score(X_test,y_test)
print 'the MSE of linear SVR is',mean_squared_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(linear_svr_y_predict))
print 'the MAE of linear SVR is',mean_absolute_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(linear_svr_y_predict))
#2.多項式核函數配置的SVR
print 'R-squared value of Poly SVR is',poly_svr.score(X_test,y_test)
print 'the MSE of Poly SVR is',mean_squared_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(poly_svr_y_predict))
print 'the MAE of Poly SVR is',mean_absolute_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(poly_svr_y_predict))
#3.徑向基核函數配置的SVR
print 'R-squared value of RBF SVR is',rbf_svr.score(X_test,y_test)
print 'the MSE of RBF SVR is',mean_squared_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(rbf_svr_y_predict))
print 'the MAE of RBF SVR is',mean_absolute_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(rbf_svr_y_predict))

#總結：
#在不同配置下支持向量基模型在相同數據上表現出不同的性能，核函數是一種非常有用的特徵映射技巧
#將低維度不好區分的特徵，映射到高緯度空間以便可區分
#在實際應用時，可採用不同核函數來尋找最佳的預測模型