機器學習算法03 - 線性迴歸

線性迴歸

機器學習基本算法之一的線性迴歸的基本原理，其要點如下：

• 線性迴歸假設輸出變量是若干輸入變量的線性組合，並根據這一關係求解線性組合中的最優係數；
• 最小二乘法可用於解決單變量線性迴歸問題，當誤差函數服從正態分佈時，它與最大似然估計等價；
• 多元線性迴歸問題也可以用最小二乘法求解，但極易出現過擬合現象；
• 嶺迴歸和 LASSO 迴歸分別通過引入二範數懲罰項和一範數懲罰項抑制過擬合。