神經網絡筆記——反向傳播算法

神經網絡輸出的矩陣表示

alj=σ(∑kwljkal−1k+blj),

al=σ(wlal−1+bl).

上式中，令:

zl≡wlal−1+bl

關於cost函數的兩個條件

條件1：cost函數可以被寫成如下形式：

C=1n∑xCx

，其中x是單個訓練樣本，n爲樣本總數。

對於均方誤差函數：

C=12n∑x∥y(x)−aL(x)∥2,

滿足條件1：
C=1n∑xCx,其中Cx=12∥y−aL∥2

條件2：cost函數是神經網絡最終層輸出值aL 的函數。

可知均方誤差函數也滿足條件2:

C=12∥y−aL∥2=12∑j(yj−aLj)2,

Hadarmard乘積

[12]⊙[34]=[1∗32∗4]=[38].

四條等式

alj=σ(∑kwljkal−1k+blj),

al=σ(wlal−1+bl).

zl≡wlal−1+bl

後向傳播算法過程

1. 輸入x ：對輸入層a1 賦值。
2. 前饋：對於每個l=2,3,…,L ,計算zl=wlal−1+bl 和al=σ(zl)
3. 計算誤差δL :計算δL=∇aC⊙σ′(zL)
4. 反向傳播誤差：對於每個l=L−1,L−2,…,2 ,計算δl=((wl+1)Tδl+1)⊙σ′(zl)
5. 輸出：計算每個∂C∂wljk=al−1kδlj,∂C∂blj=δlj