以下使用scikit-learn中數據集進行分享。
如果選用隨機森林作爲最終的模型，那麼找出它的最佳參數可能有1000多種組合的可能，你可以使用使用窮盡的網格搜索（Exhaustive Grid Seaarch）方法，但時間成本將會很高（運行很久...），或者使用隨機搜索（Randomized Search）方法，僅分析超參數集合中的子集合。
該例子以手寫數據集爲例，使用支持向量機的方法對數據進行建模，然後調用scikit-learn中validation_surve方法將模型交叉驗證的結果進行可視化。需要注意的是，在使用validation_curve方法時，只能驗證一個超參數與模型訓練集和驗證集得分的關係（即二維的可視化），而不能實現多參數與得分間關係的可視化。以下搜索的參數是gamma，需要給定參數範圍，用param_range進行傳遞，評分策略用scoring參數進行傳遞。其代碼示例如下所示：
print(__doc__)
import matplotlib.pyplot as plt
import numpy as np
from sklearn.datasets import load_digits
from sklearn.svm import SVC
from sklearn.model_selection import validation_curve
X, y = load_digits(return_X_y=True)
param_range = np.logspace(-6, -1, 5)
train_scores, test_scores = validation_curve(
SVC(), X, y, param_name="gamma", param_range=param_range,
scoring="accuracy", n_jobs=1)
train_scores_mean = np.mean(train_scores, axis=1)
train_scores_std = np.std(train_scores, axis=1)
test_scores_mean = np.mean(test_scores, axis=1)
test_scores_std = np.std(test_scores, axis=1)
plt.title("Validation Curve with SVM")
plt.xlabel(r"$\gamma$")
plt.ylabel("Score")
plt.ylim(0.0, 1.1)
lw = 2
plt.semilogx(param_range, train_scores_mean, label="Training score",
color="darkorange", lw=lw)
plt.fill_between(param_range, train_scores_mean - train_scores_std,
train_scores_mean + train_scores_std, alpha=0.2,
color="darkorange", lw=lw)
plt.semilogx(param_range, test_scores_mean, label="Cross-validation score",
color="navy", lw=lw)
plt.fill_between(param_range, test_scores_mean - test_scores_std,
test_scores_mean + test_scores_std, alpha=0.2,
color="navy", lw=lw)
plt.legend(loc="best")
plt.show();
代碼中：
X, y = load_digits(return_X_y=True) # 等價於 digits = load_digits() X_digits = digits.data y_digits = digits.target
以下是支持向量機的驗證曲線，調節的超參數gamma共有5個值，每一個點的分數是五折交叉驗證（cv=5）的均值。
當想看模型多個超參數與模型評分之間的關係時，使用scikit-learn中validation curve就難以實現，因此可以考慮繪製三維座標圖。
主要用plotly的庫繪製3D Scatter（3d散點圖）。以下的例子使用scikit-learn中的鶯尾花的數據集（iris）。以下例子選用隨機森林模型（RandomForestRegressor），利用scikit-learn中的GridSearchCV方法調試最佳超參（tuning hyper-parameters），分別設置超參數"n_estimators","max_features","min_samples_split"的參數範圍，詳見代碼如下：
import numpy as np
from sklearn.model_selection import validation_curve
from sklearn.datasets import load_iris
from sklearn.ensemble import RandomForestRegressor
from plotly.offline import iplot
from plotly.graph_objs as go
model = RandomForestRegressor(n_jobs=-1, random_state=2, verbose=2)
grid = {'n_estimators': [10,110,200],
'max_features': [0.05, 0.07, 0.09, 0.11, 0.13],
'min_samples_split': [2, 3, 5, 8]}
rf_gridsearch = GridSearchCV(estimator=model, param_grid=grid, n_jobs=4, cv=5, verbose=2, return_train_score=True)
rf_gridsearch.fit(X, y)
# and after some hours...
df_gridsearch = pd.DataFrame(rf_gridsearch.cv_results_)
trace = go.Scatter3d(
x=df_gridsearch['param_max_features'],
y=df_gridsearch['param_n_estimators'],
z=df_gridsearch['param_min_samples_split'],
mode='markers',
marker=dict(
# size=df_gridsearch.mean_fit_time ** (1 / 3),
size = 10,
color=df_gridsearch.mean_test_score,
opacity=0.99,
colorscale='Viridis',
colorbar=dict(title = 'Test score'),
line=dict(color='rgb(140, 140, 170)'),
),
text=df_gridsearch.Text,
hoverinfo='text'
)
data = [trace]
layout = go.Layout(
title='3D visualization of the grid search results',
margin=dict(
l=30,
r=30,
b=30,
t=30
),
scene = dict(
xaxis = dict(
title='max_features',
nticks=10
),
yaxis = dict(
title='n_estimators',
),
zaxis = dict(
title='min_samples_split',
),
),
)
fig = go.Figure(data=data, layout=layout)
iplot(fig)
其運行結果如果，是一個三維散點圖（3D Scatter）。
可以看到顏色越淺，分數越高。n_estimators（子估計器）越多，分數越高，max_features的變化對模型分數的影響較小，在圖中看不到變化，min_samples_split的個數並不是越高越好，但與模型分數並不呈單調關係，在min_samples_split取2時（此時，其它條件不變），模型分數最高。
除了使用scikit-learn中validation curve繪製超參數與得分的可視化，還可以利用seaborn庫中heatmap方法來實現兩個超參數之間的關係圖，如下代碼示例：
import seaborn as sns
title = '''Maximum R2 score on test set VS
max_features, min_samples_split'''
sns.heatmap(max_scores.mean_test_score, annot=True, fmt='.4g');
plt.title(title);
plt.savefig("heatmap_test.png", dpi = 300);
import seaborn as sns
title = '''Maximum R2 score on train set VS
max_features, min_samples_split'''
sns.heatmap(max_scores.mean_train_score, annot=True, fmt='.4g');
plt.title(title);
plt.savefig("heatmap_train.png", dpi = 300);
max_features和min_samples與模型得分關係的可視化如下圖所示（分別爲網格搜索中測試集和訓練集的得分）：
由於一般人很難迅速的在大量數據中找到隱藏的關係，因此，可以考慮繪圖，將數據關係以圖表的形式，清晰的顯現出來。
綜上，當關注單個超參數的學習曲線時，可以使用scikit-learn中validation curve，找到拐點，作爲模型的最佳參數。
當關注兩個超參數的共同變化對模型分數的影響時，可以使用seaborn庫中的heatmap方法，製作“熱圖”，以找到超參數協同變化對分數影響的趨勢。
當關注三個參數的協同變化與模型得分的關係時，可以使用poltly庫中的iplot和go方法，繪製3d散點圖（3D Scatter），將其協同變化對模型分數的影響展現在高維圖中。
（1）獲取更多優質內容及精彩資訊，可前往：https://www.cda.cn/?seo
（2）瞭解更多數據領域的優質課程：
