動手學深度學習——線性迴歸的概念及實現

線性迴歸的基本要素

深度學習的基本要素包括模型、數據集、損失函數、優化函數。線性迴歸作爲深度學習的基礎模型，其基本要素也涵蓋上述四方面。

1. 模型
   線性迴歸的模型是線性函數，通常可表示爲如下形式：(向量形式）
   $\\y = \ W^{T}X+B\,.$
   以預測房價的案例爲例，X={面積、房齡}，則預測房價的表達式爲：
   $\\price = \omega^1*area+ \omega^2*age+b\,.$
2. 數據集
   數據集通常分爲訓練集（trainning dataset）和測試集（test dataset）,訓練集用於訓練模型，使得通過數據擬合得到的模型能使預測的房屋價格和真實價格的誤差最小。一個樣本爲一棟房屋，一個樣本包含一棟房屋的所有特徵，即面積和房齡，真實售出的價格稱爲該樣本的標籤。
3. 損失函數
   損失函數是用於評估預測值和真實值之間的誤差的函數。常用的損失函數包括MSE、RMSE、MAE等。本例中採用均方誤差函數，即：
   $\ l^{(i)}(\mathbf{w}, b)=\frac{1}{2}\left(\hat{y}^{(i)}-y^{(i)}\right)^{2} (1)$
   $\ L(\mathbf{w}, b)=\frac{1}{n} \sum_{i=1}^{n} l^{(i)}(\mathbf{w}, b)=\frac{1}{n} \sum_{i=1}^{n} \frac{1}{2}\left(\mathbf{w}^{\top} \mathbf{x}^{(i)}+b-y^{(i)}\right)^{2} (2)$
   上述（1）式爲單樣本的誤差，（2）式爲批量誤差和。
4. 優化函數
   優化函數是指對模型的參數進行優化，使其儘可能接近真實值，優化的目標在於使損失函數最小。優化方法包括好幾種，其中運用最廣泛的是隨機梯度下降法（stochastic gradient descent, SGD）。該方法的原理在於：**首先隨機選取模型參數的初始值，接下來對參數進行多次迭代，每次迭代的結果都使得損失函數值降低。隨機的思想體現在每次迭代過程的訓練樣本是隨機均勻採樣的固定數目組成的小批量，根據該數據樣本的平均損失有關模型參數的梯度，與預先設定的整數（學習率）的乘積作爲模型參數在本次迭代中的減少量。**一次迭代後的模型參數爲迭代前的模型參數減去減少$(\mathbf{w}, b) \leftarrow(\mathbf{w}, b)-\frac{\eta}{|\mathcal{B}|} \sum_{i \in \mathcal{B}} \partial_{(\mathbf{w}, b)} l^{(i)}(\mathbf{w}, b) (3)$

注：[1]上述資料參考於伯宇學習平臺《動手學深度學習》