【模型選擇與評估02】調整估計器的超參數

1.參考文獻
sklearn文檔

背景：

超參數，即不直接在估計器內學習的參數。在 scikit-learn 包中，它們作爲估計器類中構造函數的參數進行傳遞。搜索超參數空間以便獲得最好分數的方法是可能的而且是值得提倡的。通過這種方式，構造估計器時被提供的任何參數或許都能被優化。
具體來說，要獲取到給定估計器的所有參數的名稱和當前值，使用:

estimator.get_params()

搜索包括:
估計器(迴歸器或分類器，例如 sklearn.svm.SVC())
參數空間
搜尋或採樣候選的方法
交叉驗證方案
計分函數

1.網格搜索法

網格搜索核心基於：
sklearn.model_selection.GridSearchCV 

使用示例：
from __future__ import print_function
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.model_selection import GridSearchCV
from sklearn.metrics import classification_report
from sklearn.svm import SVC

print(__doc__)

# Loading the Digits dataset
digits = datasets.load_digits()

# To apply an classifier on this data, we need to flatten the image, to
# turn the data in a (samples, feature) matrix:
n_samples = len(digits.images)
X = digits.images.reshape((n_samples, -1))
y = digits.target

# Split the dataset in two equal parts
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.5, random_state=0)

下面的tuned_parameters設定了進行網格搜索的各參數的取值情況，便於使用
# Set the parameters by cross-validation
tuned_parameters = [{'kernel': ['rbf'], 'gamma': [1e-3, 1e-4],
                     'C': [1, 10, 100, 1000]},
                    {'kernel': ['linear'], 'C': [1, 10, 100, 1000]}]

這是兩種評價指標，精確度和召回率，可以分別針對這兩個指標進行網格搜索
scores = ['precision', 'recall']

for score in scores:
    print("# Tuning hyper-parameters for %s" % score)
    print()
 
**********這裏是網格搜索的核心位置，所需參數包括：評估器、網格參數、交叉驗證折數、評價指標！！！**************
    clf = GridSearchCV(SVC(), tuned_parameters, cv=5,
                       scoring='%s_macro' % score)
    clf.fit(X_train, y_train)
******************************************************************************************************

    print("Best parameters set found on development set:")
    print()
    print(clf.best_params_)
    print()
    print("Grid scores on development set:")
    print()
    means = clf.cv_results_['mean_test_score']
    stds = clf.cv_results_['std_test_score']
    for mean, std, params in zip(means, stds, clf.cv_results_['params']):
        print("%0.3f (+/-%0.03f) for %r"
              % (mean, std * 2, params))
    print()

    print("Detailed classification report:")
    print()
    print("The model is trained on the full development set.")
    print("The scores are computed on the full evaluation set.")
    print()
    y_true, y_pred = y_test, clf.predict(X_test)
    print(classification_report(y_true, y_pred))
    print()

2.隨機搜索

隨機搜索核心基於：
sklearn.model_selection.RandomizedSearchCV

其中每個設置都是從可能的參數值的分佈中進行取樣。 這對於窮舉搜索有兩個主要優勢:
(1)可以選擇獨立於參數個數和可能值的預算
(2)添加不影響性能的參數不會降低效率

指定如何取樣的參數是使用字典完成的, 非常類似於爲 GridSearchCV 指定參數。
此外, 通過 n_iter 參數指定計算預算, 即取樣候選項數或取樣迭代次數。 
對於每個參數, 可以指定在可能值上的分佈或離散選擇的列表 (均勻取樣):
{'C': scipy.stats.expon(scale=100), 'gamma': scipy.stats.expon(scale=.1),
  'kernel': ['rbf'], 'class_weight':['balanced', None]}
本示例使用 scipy.stats 模塊, 它包含許多用於採樣參數的有用分佈, 如 expon，gamma，uniform 或者 randint。
原則上，任何函數都可以通過提供一個rvs（隨機變量樣本）方法來採樣一個值。
對 rvs 函數的調用應在連續調用中提供來自可能參數值的獨立隨機樣本。