一．二維空間線性迴歸
其實，我認爲在二維空間內線性迴歸很簡單，確實也很簡單。它就是尋找一條最優直線來對數據進行擬合。但我們怎麼知道找到的直線是否爲最優的呢？根據最小二乘原理，我們確定了這樣一條準則：尋找一條直線，使得函數值與模型預測值之差的平方和最小。這也是我們所說的損失函數的原型。用數學模型表達的話就是
由最小二乘原理，我們可知這樣確定的直線是唯一的。
我們在高等數學中都接觸過梯度的概念，知道“函數沿着梯度方向變化最快”。當函數爲凸函數時，其曲線圖如圖1-2所示。
達到全局最優，即求得最小損失函數值。
根據上述原理，我們可以線性迴歸做一個總結：
（1） 首先列出目標函數：
(2)利用梯度下降法
二．N維空間線性迴歸
但是在實際應用中，我們遇到的大部分迴歸問題在二維空間往往不能用直線來擬合，需要用曲線來實現，甚至在二維空間我們無法得到問題的迴歸解。這時候，一種辦法就是增加特徵變量維度，在N維空間對數據進行線性擬合。
那麼我們如何對這些數據進行擬合呢？在機器學習中，其解決方式是定義一個多維向量
通過多維向量來實現對（二維內）非線性數據的擬合。但這帶來的問題是向量x中的n值如何選擇呢？你如何能確保找到的n值是合理的呢（數據既不會欠擬合，也不會過擬合）？
這時我們引入另一概念：正則化項，我們通過對引入的係數進行懲罰，使得模型不至於太過複雜，從而避免過擬合現象。
從整個淺層機器學習來說，（二維或N維內）線性迴歸是很簡單的。你只要把握住了它的最優函數模型以及它的求解方法：梯度下降法就行啦。
