第四周:线性回归算法

学习目标:

  • 简单线性回归:简单线性回归及最小二乘法的数据推导
  • 实践:简单线性回归实现及向量化应用
  • 多元线性回归:多元线性回归和正规方程解及实现

线性回归和最小二乘法

《模型之母:简单线性回归&最小二乘法》
线性模型形式简单、易于建模,但却蕴藏着机器学习中一些重要的基本思想。在前文中已经写过,关于回归的定义—即特征是连续值类型。所谓简单线性回归,就是假设输入属性(特征变量)的数目只有一个,在此情形下,我们来讨论线性回归算法的基础形式和最小二乘法公式推导。最小二乘法的核心思想是均方误差最小化。

推导过程详见援引的文章,木东居士详细的展示了推导过程,今天自己也动手尝试了一下,其中的计算公式的简化和等量替换还是比较有技巧性的,公式推导清楚了也便于后续算法的实现。

线性回归算法实践

《模型之母:简单线性回归的代码实现》
通过上一节的公式推导,引文中给出了算法的实现代码同时介绍了向量化的计算方法,节约计算时间。

多元线性回归

《模型之母:多元线性回归》
多元线性回归是线性回归的一般形式,即输入属性(特征变量)有多个,其求解思想亦是最小二乘法。引文中给出了求解的结果,以及算法代码实现。

学习小结

通过对这个三篇文章的学习,了解了线性回归和最小二乘法的基本思想。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章