Standford機器學習 線性迴歸Cost Function和Normal Equation的推導

1.線性迴歸CostFunction推導：

              在線性迴歸中，Cost Function是，關於這個公式的推導，首先由一個假設,其中滿足高斯分佈，.

那麼根據得出在這裏，把看成是隨機變量，那麼服從高斯分佈，，對於給定的X，theta要估計y的分佈是怎麼樣的，極大似然估計函數爲：

 

 

 

 

                     就是使得上式中的最小，即這個式子就是線性迴歸中的CostFunction J(theta),梯度下降的最終目標即是要最小化這個函數。

 

2. 線性迴歸中的NormalEquation的推導

          Andrew Ng講的推導過程有點複雜，不知道他的思維過程是怎麼樣的。下面我用線性代數的方法來推導下NormalEquation。

通常給定一個線性方程，要滿足這個方程有解的條件是向量y在X的列向量張成的空間中。另外，對X的列向量進行線性變換即，得到的向量一定是X的列空間中的。

現在這個問題中，樣本的輸入可以組成一個矩陣，現在要求解，找到這樣的一個，很明顯，在大多數情況下這個方程是沒有解的，原因是向量y不一定在X的列向量空間中。最小二乘法就是要在X的列向量空間中找到一個向量 ，使得這個向量和向量y的error最小。，即，請看下圖：

 

        很明顯，error最小的情況是找到y在X的列空間中的投影，它們的差值是最小的，那麼就是我們要求解的，而且這個方程必定有解，那麼如何找到這個投影呢？

        由於向量error和X的列空間是垂直的，所以error和X的所有列向量垂直，,ci是X的每一個列向量，所以，表示成矩陣的形式

 

         所以，所以可以推導出,X不是一個nbyn的矩陣，所以不能寫成

 

其中可逆的充要條件是X的列向量不相關，這個可以自己推導下。所以在特徵選取的時候不能選擇一些線性相關的特徵。

 

Ps：上面的圖太難看了，請見諒，不知道有沒有好點的畫圖軟件