機器學習之嶺迴歸

看機器學習實戰接觸到這部分，所以總結一下。

嶺迴歸應對的是普通的線性迴歸中，矩陣不可逆情況。例如，特徵值過多，而樣本量不夠。

回顧一下線性迴歸：

迴歸分析中常用的最小二乘法是一種無偏估計。對於一個適定問題，X通常是列滿秩的

採用最小二乘法，定義損失函數爲殘差的平方，最小化損失函數

上述優化問題可以採用梯度下降法進行求解，也可以採用如下公式進行直接求解

回顧數學知識：

若矩陣秩等於行數，稱爲行滿秩；若矩陣秩等於列數，稱爲列滿秩。滿秩矩陣是一個很重要的概念, 它是判斷一個矩陣是否可逆的充分必要條件

其中，矩陣的秩: 用初等行變換將矩陣A化爲階梯形矩陣, 則矩陣中非零行的個數就定義爲這個矩陣的秩, 記爲r（A）。

當X不是列滿秩時，或者某些列之間的線性相關性比較大時，就容易出現問題。

理解：當矩陣中特徵過多，而且特徵之間有聯繫時，我們會發現，經過一系列的初等變換後，列不滿。也就是說矩陣不可逆（上面說的充分必要條件），然後矩陣不可逆計算的時候就出問題。所以，要解決這個問題。