線性迴歸
線性迴歸的基本要素
模型
爲了簡單起見，這裏我們假設價格只取決於房屋狀況的兩個因素，即面積（平方米）和房齡（年）。接下來我們希望探索價格與這兩個因素的具體關係。線性迴歸假設輸出與各個輸入之間是線性關係:
數據集
我們通常收集一系列的真實數據，例如多棟房屋的真實售出價格和它們對應的面積和房齡。我們希望在這個數據上面尋找模型參數來使模型的預測價格與真實價格的誤差最小。在機器學習術語裏，該數據集被稱爲訓練數據集（training data set）或訓練集（training set），一棟房屋被稱爲一個樣本（sample），其真實售出價格叫作標籤（label），用來預測標籤的兩個因素叫作特徵（feature）。特徵用來表徵樣本的特點。
損失函數
在模型訓練中，我們需要衡量價格預測值與真實值之間的誤差。通常我們會選取一個非負數作爲誤差，且數值越小表示誤差越小。一個常用的選擇是平方函數。 它在評估索引爲 i 的樣本誤差的表達式爲
優化函數 - 隨機梯度下降
當模型和損失函數形式較爲簡單時，上面的誤差最小化問題的解可以直接用公式表達出來。這類解叫作解析解（analytical solution）。本節使用的線性迴歸和平方誤差剛好屬於這個範疇。然而，大多數深度學習模型並沒有解析解，只能通過優化算法有限次迭代模型參數來儘可能降低損失函數的值。這類解叫作數值解（numerical solution）。
在求數值解的優化算法中，小批量隨機梯度下降（mini-batch stochastic gradient descent）在深度學習中被廣泛使用。它的算法很簡單：先選取一組模型參數的初始值，如隨機選取；接下來對參數進行多次迭代，使每次迭代都可能降低損失函數的值。在每次迭代中，先隨機均勻採樣一個由固定數目訓練數據樣本所組成的小批量（mini-batch）B，然後求小批量中數據樣本的平均損失有關模型參數的導數（梯度），最後用此結果與預先設定的一個正數的乘積作爲模型參數在本次迭代的減小量。
學習率: η代表在每次優化中，能夠學習的步長的大小
批量大小: B是小批量計算中的批量大小batch size
總結一下，優化函數的有以下兩個步驟：
- (i)初始化模型參數，一般來說使用隨機初始化；
- (ii)我們在數據上迭代多次，通過在負梯度方向移動參數來更新每個參數。
Softmax與分類模型
softmax的基本概念
-
分類問題
一個簡單的圖像分類問題，輸入圖像的高和寬均爲2像素，色彩爲灰度。
圖像中的4像素分別記爲x1,x2,x3,x4。
假設真實標籤爲狗、貓或者雞，這些標籤對應的離散值爲y1,y2,y3。
我們通常使用離散的數值來表示類別，例如y1=1,y2=2,y3=3。 -
權重矢量
o1=x1w11+x2w21+x3w31+x4w41+b1
o2=x1w12+x2w22+x3w32+x4w42+b2
o3=x1w13+x2w23+x3w33+x4w43+b3
- 神經網絡圖
下圖用神經網絡圖描繪了上面的計算。softmax迴歸同線性迴歸一樣，也是一個單層神經網絡。由於每個輸出o1,o2,o3的計算都要依賴於所有的輸入x1,x2,x3,x4，softmax迴歸的輸出層也是一個全連接層。
softmax迴歸是一個單層神經網絡
既然分類問題需要得到離散的預測輸出，一個簡單的辦法是將輸出值oi當作預測類別是i的置信度，並將值最大的輸出所對應的類作爲預測輸出，即輸出 argmaxioi。例如，如果o1,o2,o3分別爲0.1,10,0.1，由於o2最大，那麼預測類別爲2，其代表貓。
多層感知機
多層感知機的基本知識
深度學習主要關注多層模型。在這裏，我們將以多層感知機（multilayer perceptron，MLP）爲例，介紹多層神經網絡的概念。
隱藏層
下圖展示了一個多層感知機的神經網絡圖，它含有一個隱藏層，該層中有5個隱藏單元。
表達公式
具體來說，給定一個小批量樣本X∈Rn×d，其批量大小爲n，輸入個數爲d。假設多層感知機只有一個隱藏層，其中隱藏單元個數爲h。記隱藏層的輸出（也稱爲隱藏層變量或隱藏變量）爲H，有H∈Rn×h。因爲隱藏層和輸出層均是全連接層，可以設隱藏層的權重參數和偏差參數分別爲Wh∈Rd×h和 bh∈R1×h，輸出層的權重和偏差參數分別爲Wo∈Rh×q和bo∈R1×q。
我們先來看一種含單隱藏層的多層感知機的設計。其輸出O∈Rn×q的計算爲
也就是將隱藏層的輸出直接作爲輸出層的輸入。如果將以上兩個式子聯立起來，可以得到
從聯立後的式子可以看出，雖然神經網絡引入了隱藏層，卻依然等價於一個單層神經網絡：其中輸出層權重參數爲WhWo，偏差參數爲bhWo+bo。不難發現，即便再添加更多的隱藏層，以上設計依然只能與僅含輸出層的單層神經網絡等價。
激活函數
上述問題的根源在於全連接層只是對數據做仿射變換（affine transformation），而多個仿射變換的疊加仍然是一個仿射變換。解決問題的一個方法是引入非線性變換，例如對隱藏變量使用按元素運算的非線性函數進行變換，然後再作爲下一個全連接層的輸入。這個非線性函數被稱爲激活函數（activation function）。
下面我們介紹幾個常用的激活函數：
ReLU函數
ReLU（rectified linear unit）函數提供了一個很簡單的非線性變換。給定元素x，該函數定義爲
ReLU(x)=max(x,0).
可以看出，ReLU函數只保留正數元素，並將負數元素清零。爲了直觀地觀察這一非線性變換，我們先定義一個繪圖函數xyplot。