10.【基礎】波士頓房價預測--DecisionTreeRegressor

本文所有實現代碼均來自《Python機器學習及實戰》

#-*- coding:utf-8 -*-

#說明：前面的數據讀取、分割、標準化處理還是採用上一講的代碼，只是模型的訓練換成了迴歸樹模型

#第一步：讀取波士頓房價數據
from sklearn.datasets import load_boston
boston = load_boston()
print boston.DESCR
#從輸出結果來看，該數據共有506條波士頓房價的數據，每條數據包括對指定房屋的13項數值型特徵和目標房價  
#此外，該數據中沒有缺失的屬性/特徵值，更加方便了後續的分析

#第二步：波士頓房價數據分割
from sklearn.cross_validation import train_test_split
import numpy as np
X_train,X_test,y_train,y_test = train_test_split(boston.data,boston.target,test_size=0.25,random_state=33)
#分析迴歸目標值的差異
print 'The max target value is ',np.max(boston.target)
print 'The min target value is ',np.min(boston.target)
print 'The average target value is ',np.mean(boston.target)

#第三步：訓練數據和測試數據標準化處理
from sklearn.preprocessing import StandardScaler
#分別初始化對特徵值和目標值的標準化器
ss_X = StandardScaler()
ss_y = StandardScaler()
#訓練數據都是數值型，所以要標準化處理
X_train = ss_X.fit_transform(X_train)
X_test = ss_X.transform(X_test)
#目標數據（房價預測值）也是數值型，所以也要標準化處理
#說明一下：fit_transform與transform都要求操作2D數據，而此時的y_train與y_test都是1D的，因此需要調用reshape(-1,1)，例如：[1,2,3]變成[[1],[2],[3]]
y_train = ss_y.fit_transform(y_train.reshape(-1,1))
y_test = ss_y.transform(y_test.reshape(-1,1))

#第四步：使用單一回歸樹模型進行訓練，並且對測試數據進行預測
from sklearn.tree import DecisionTreeRegressor
#1.初始化k近鄰迴歸器，並且調整配置，使得預測方式爲平均迴歸：weights = 'uniform'
dtr = DecisionTreeRegressor()
dtr.fit(X_train,y_train)
dtr_y_predict = dtr.predict(X_test)

#第五步：對單一回歸樹模型在測試集下進行性能評估
#使用R-squared、MSE、MAE指標評估
from sklearn.metrics import r2_score,mean_absolute_error,mean_squared_error
print 'R-squared value of DecisionTreeRegressor is',dtr.score(X_test,y_test)
print 'the MSE of DecisionTreeRegressor is',mean_squared_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(dtr_y_predict))
print 'the MAE of DecisionTreeRegressor is',mean_absolute_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(dtr_y_predict))

#總結：
#樹模型的優點：
#1.可以解決非線性特徵(目標與特徵直接不存在線性關係)的問題
#2.樹模型不要求對特徵標準化和統一量化
#樹模型的缺點：
#1.由於可以解決複雜的非線性問題，容易產生過擬合
#2.從上至下的預測流程會因爲數據細微的更改而產生較大的結構變化，因此預測穩定性差
#3.構建最佳的樹模型是NP-hard問題，只能採用類似貪婪算法的解法找到一些次優解