我們用L來標記神經網絡的層數,例如這裏就是 4 。我們用 s l (小寫的L)來標記第l層的單元數量,例如這裏就是:s1=3、s2=s3=5 、s4=4 ,注意這裏是不包含偏差單元的,也就是a 0 = 1 的單元。每一層特徵的計算,使用的公式依然是邏輯函數:
Logistic regression的代價函數爲:
類比Logistic regression的代價函數,我們得到Neural network的代價函數:
逐項分解有:
項1
項1表示所有輸出單元誤差的總和。
項2
項2表示對所有權重進行正則化修正,其中i表示行,j表示列,l表示層
2.反向傳遞