我們用L來標記神經網絡的層數，例如這裏就是 4 。我們用 s l （小寫的L）來標記第l層的單元數量，例如這裏就是：s1=3、s2=s3=5 、s4=4 ，注意這裏是不包含偏差單元的，也就是a 0 = 1 的單元。每一層特徵的計算，使用的公式依然是邏輯函數：
Logistic regression的代價函數爲：
類比Logistic regression的代價函數，我們得到Neural network的代價函數：
逐項分解有：
項1
項1表示所有輸出單元誤差的總和。
項2
項2表示對所有權重進行正則化修正，其中i表示行，j表示列，l表示層
2.反向傳遞
