上海復旦大學吳立德教授深度學習課程三

全連接ANN

數據 D

(x(i),y(i)),1⩽i⩽N

模型 M

al=y(x|ω,b)
y^=f(al|θ)

準則 C

J(al,y|θ)=J(x,y|ω,b,θ)=min

通過準則很容易確定需要優化的目標函數。

梯度下降

神經網絡是前向求函數值，後向求梯度值，每一次迭代都會正向和反向各運行一次。
梯度下降就是求目標函數的偏導數，爲了方便，省去正則項。

ω←ω+α∂(J)∂(ω)
b←b+α∂(J)∂(b)

有了以上的偏導數就可以很方便的得到BP。

稀疏表示

對於任一x∈Rp,p爲維度 ，可以用一組基 A 表示爲 x=As ，s 爲 x 在基 A 上的映射，也就是線性表示，s 是px×1 維。

所謂稀疏意思是s 中的零個數儘量多。

稀疏表示的優化目標是：min||x−As||2+λ||s||0 ，
但是在優化中l0 是不連續的，難以求解；
但是在一定條件下可以轉爲l1 ，對於l1 問題容易求解，但是在零點不可導；
若轉爲l2 ，連續可導，可以通過優化方法得出解。

稀疏編碼