分類算法-模型選擇與調優

一 交叉驗證目的

爲了讓被評估的模型更加準確可信

二 交叉驗證(cross validation)

交叉驗證：將拿到的訓練數據，分爲訓練和驗證集。以下圖爲例：將數據分成5份，其中一份作爲驗證集。然後經過5次(組)的測試，每次都更換不同的驗證集。即得到5組模型的結果，取平均值作爲最終結果。又稱5折交叉驗證。

2.1 分析

三 超參數搜索-網格搜索(Grid Search)

通常情況下，有很多參數是需要手動指定的（如k-近鄰算法中的K值），**這種叫超參數。**但是手動過程繁雜，所以需要對模型預設幾種超參數組合。每組超參數都採用交叉驗證來進行評估。最後選出最優參數組合建立模型。

3.1 模型選擇與調優

sklearn.model_selection.GridSearchCV(estimator, param_grid=None,cv=None)

• 對估計器的指定參數值進行詳盡搜索
• estimator：估計器對象
• param_grid：估計器參數(dict){“n_neighbors”:[1,3,5]}
• cv：指定幾折交叉驗證
• fit：輸入訓練數據
• score：準確率
• 結果分析：
  bestscore:在交叉驗證中驗證的最好結果_
  bestestimator：最好的參數模型
  cvresults:每次交叉驗證後的驗證集準確率結果和訓練集準確率結果

四 Facebook簽到位置預測K值調優

from sklearn.model_selection import train_test_split,GridSearchCV
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
import pandas as pd


"""
k-緊鄰 預測用戶簽到位置
"""
# 1.讀取數據
data = pd.read_csv("./facebook-v-predicting-check-ins/train.csv")
print(data.head(10))

#處理數據
# 1.縮小數據 比如 pladc_id 入住位置，每個都不一樣，但是可能某些位置就一兩個人，
# 查詢數據曬訊
data = data.query("x > 1.0 & x < 1.25 & y > 2.5 & y < 2.75")

# 2.處理時間 -時間戳日期  1990-01-01 10:25:10
timevalue = pd.to_datetime(data['time'], unit='s')
# 把時間格式轉換成 字典格式
timevalue = pd.DatetimeIndex(timevalue)
# 構造特徵 加入時間的其它的特徵
data['day'] = timevalue.day
data['hour'] = timevalue.hour
data['weekday'] = timevalue.weekday

# 把時間戳特徵刪除  pd裏1表示列 ske裏0表示列
data = data.drop(['time'], axis=1)

# 把簽到數量少於n個目標位置刪除
place_count = data.groupby('place_id').count()
tf = place_count[place_count.row_id > 3].reset_index()

data = data[data['place_id'].isin(tf.place_id)]

# 3.取出特徵值和目標值 去除數據中的特徵值 和 目標值
y = data['place_id']
x = data.drop(['place_id'], axis=1)

# 4.數據分割
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

# 5. 標準化 - 特徵工程
std = StandardScaler()
#對測試集和訓練集的特徵值進行標準化
x_train = std.fit_transform(x_train)
x_test = std.fit_transform(x_test)

# 二 進行算法流程
# K值：算法傳入參數不定的值    理論上：k = 根號(樣本數)
# K值：後面會使用參數調優方法，去輪流試出最好的參數[1,3,5,10,20,100,200]
knn = KNeighborsClassifier()

param = {"n_neighbors": [3, 5, 10]}

gc = GridSearchCV(knn, param_grid=param, cv=2)

gc.fit(x_train, y_train)

print("選擇了某個模型測試集當中預測的準確率爲：", gc.score(x_test, y_test))

# 訓練驗證集的結果
print("在交叉驗證當中驗證的最好結果：", gc.best_score_)
print("gc選擇了的模型K值是：", gc.best_estimator_)
print("每次交叉驗證的結果爲：", gc.cv_results_)