機器學習-------算法(十一)

線性迴歸:過擬合或欠擬合

過擬合:一個假設在訓練數據上能夠獲得比其他假設更好的擬合, 但是在訓練數據外的數據集上卻不能很好地擬合數據,此時認爲這個假設出現了過擬合的現象。(模型過於複雜)

欠擬合:一個假設在訓練數據上不能獲得更好的擬合, 但是在訓練數據外的數據集上也不能很好地擬合數據,此時認爲這個假設出現了欠擬合的現象。(模型過於簡單)

 

欠擬合:

原因:
學習到數據的特徵過少
解決辦法:
增加數據的特徵數量

 

過擬合:

原因:
原始特徵過多,存在一些嘈雜特徵, 

模型過於複雜是因爲模型嘗試去兼顧

各個測試數據點

解決辦法:
進行特徵選擇,消除關聯性大的特徵(很難做)
交叉驗證(讓所有數據都有過訓練)
正則化(瞭解)


 

 

 

 

嶺迴歸:一個加上了正則化的線性迴歸

主要講解過擬合的解決方法正則化:

API:

sklearn.linear_model.Ridge

解釋:

sklearn.linear_model.Ridge(alpha=1.0)
具有l2正則化的線性最小二乘法
alpha:正則化力度 0-1,1-10
coef_:迴歸係數

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章