线性回归

线性回归是一种有监督学习方法，本质上是学习到的一种映射关系。对于给定的，预测其输出。

一、对线性回归的认识

1、假设房子的价格只和房子的面子有关，那么：
                                                                               
2、假设房子的价格和房子的面积、卧室的个数有关，那么：
                                                                     

     令，可以得到：

                                                                       

3、推广开来：

                                                             

      令，用向量形式表示为：

                                                                                 

二、线性回归求解

1、代价函数（损失函数）：

代价函数的作用：衡量效果最好的一组参数。

公式为：                                                 

2、最小化代价函数：

代价函数是一个凸函数。

采用梯度下降法求解代价函数最小值：

梯度下降法如同下山，朝着梯度的方向，每次迈一小步直到最低的位置。

对于：

                                                                       

其代价函数为：                               

                                                          

梯度下降公式为：

                                                          

推广到一般情况：