第四周:線性迴歸算法

學習目標:

  • 簡單線性迴歸:簡單線性迴歸及最小二乘法的數據推導
  • 實踐:簡單線性迴歸實現及向量化應用
  • 多元線性迴歸:多元線性迴歸和正規方程解及實現

線性迴歸和最小二乘法

《模型之母:簡單線性迴歸&最小二乘法》
線性模型形式簡單、易於建模,但卻蘊藏着機器學習中一些重要的基本思想。在前文中已經寫過,關於迴歸的定義—即特徵是連續值類型。所謂簡單線性迴歸,就是假設輸入屬性(特徵變量)的數目只有一個,在此情形下,我們來討論線性迴歸算法的基礎形式和最小二乘法公式推導。最小二乘法的核心思想是均方誤差最小化。

推導過程詳見援引的文章,木東居士詳細的展示了推導過程,今天自己也動手嘗試了一下,其中的計算公式的簡化和等量替換還是比較有技巧性的,公式推導清楚了也便於後續算法的實現。

線性迴歸算法實踐

《模型之母:簡單線性迴歸的代碼實現》
通過上一節的公式推導,引文中給出了算法的實現代碼同時介紹了向量化的計算方法,節約計算時間。

多元線性迴歸

《模型之母:多元線性迴歸》
多元線性迴歸是線性迴歸的一般形式,即輸入屬性(特徵變量)有多個,其求解思想亦是最小二乘法。引文中給出了求解的結果,以及算法代碼實現。

學習小結

通過對這個三篇文章的學習,瞭解了線性迴歸和最小二乘法的基本思想。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章