線性迴歸:過擬合或欠擬合
過擬合:一個假設在訓練數據上能夠獲得比其他假設更好的擬合, 但是在訓練數據外的數據集上卻不能很好地擬合數據,此時認爲這個假設出現了過擬合的現象。(模型過於複雜)
欠擬合:一個假設在訓練數據上不能獲得更好的擬合, 但是在訓練數據外的數據集上也不能很好地擬合數據,此時認爲這個假設出現了欠擬合的現象。(模型過於簡單)
欠擬合:
•原因:
•學習到數據的特徵過少
•解決辦法:
•增加數據的特徵數量
過擬合:
•原因:
•原始特徵過多,存在一些嘈雜特徵,
模型過於複雜是因爲模型嘗試去兼顧
各個測試數據點
•解決辦法:
•進行特徵選擇,消除關聯性大的特徵(很難做)
•交叉驗證(讓所有數據都有過訓練)
•正則化(瞭解)
嶺迴歸:一個加上了正則化的線性迴歸
主要講解過擬合的解決方法正則化:
API:
•sklearn.linear_model.Ridge
解釋:
•sklearn.linear_model.Ridge(alpha=1.0)
•具有l2正則化的線性最小二乘法
•
•alpha:正則化力度 0-1,1-10
•coef_:迴歸係數