線性迴歸

線性迴歸是一種有監督學習方法，本質上是學習到的一種映射關係。對於給定的，預測其輸出。

一、對線性迴歸的認識

1、假設房子的價格只和房子的面子有關，那麼：
                                                                               
2、假設房子的價格和房子的面積、臥室的個數有關，那麼：
                                                                     

     令，可以得到：

                                                                       

3、推廣開來：

                                                             

      令，用向量形式表示爲：

                                                                                 

二、線性迴歸求解

1、代價函數（損失函數）：

代價函數的作用：衡量效果最好的一組參數。

公式爲：                                                 

2、最小化代價函數：

代價函數是一個凸函數。

採用梯度下降法求解代價函數最小值：

梯度下降法如同下山，朝着梯度的方向，每次邁一小步直到最低的位置。

對於：

                                                                       

其代價函數爲：                               

                                                          

梯度下降公式爲：

                                                          

推廣到一般情況：