上海复旦大学吴立德教授深度学习课程三

全连接ANN

数据 D

(x(i),y(i)),1⩽i⩽N

模型 M

al=y(x|ω,b)
y^=f(al|θ)

准则 C

J(al,y|θ)=J(x,y|ω,b,θ)=min

通过准则很容易确定需要优化的目标函数。

梯度下降

神经网络是前向求函数值，后向求梯度值，每一次迭代都会正向和反向各运行一次。
梯度下降就是求目标函数的偏导数，为了方便，省去正则项。

ω←ω+α∂(J)∂(ω)
b←b+α∂(J)∂(b)

有了以上的偏导数就可以很方便的得到BP。

稀疏表示

对于任一x∈Rp,p为维度 ，可以用一组基 A 表示为 x=As ，s 为 x 在基 A 上的映射，也就是线性表示，s 是px×1 维。

所谓稀疏意思是s 中的零个数尽量多。

稀疏表示的优化目标是：min||x−As||2+λ||s||0 ，
但是在优化中l0 是不连续的，难以求解；
但是在一定条件下可以转为l1 ，对于l1 问题容易求解，但是在零点不可导；
若转为l2 ，连续可导，可以通过优化方法得出解。

稀疏编码