【機器學習數學基礎之矩陣03】線性迴歸

線性迴歸（最小二乘法）

    一維模型：對於直角座標系中一系列樣本點（x,y），找到合適的a,b，使得f(x)=ax+b成立，並且f(x)～=y。實際上，線性迴歸的過程就是尋找a,b的過程，而判定最優解的方法就是尋找誤差最小值，即：  。arg min是機器學習術語，表示讓arg成立的min的值。

    根據矩陣求導相關知識求出一維模型的解： 。

    多維模型：對於一系列樣本點（x，y）, 找到合適的a,b，使得f(x)=ax+b成立，並且f(x)～=y。不同的是，這裏的x,y,a都是向量。實際上，。

         解：令   w=(a,b)      

        因此，誤差值爲：   ，這裏採用L2範數來衡量大小。對其進行求導，求梯度                向量等於零，可以得到。

嶺迴歸

    但線性迴歸存在一個問題：若A*(A^T)不可逆，則上述w不可求。理論上，可以採用僞逆，但誤差較大（具體原因不瞭解），因此通常採用嶺迴歸。

      即對於估計值y，在線性迴歸中，有 ,而在嶺迴歸中,對它進行處理,即： 。這樣就避免了不可求逆的問題。、

      然後還要用SVD對A做處理，來計算嶺迴歸，  ，然後經過一系列巧妙的計算（實在能力不夠，沒法自己解決）可以得到嶺迴歸結果：。

Logistic迴歸

    這部分內容不理解，貼上課件，等到具體學到再展開。