上海复旦大学吴立德教授深度学习课程一

简介

DL是ML的分支，DL的框架与ML框架的一部分。

ML框架

• 数据 D

  D={xi,yi|1≤i≤m}

  
  xi 是监督学习的训练数据输入，yi 输入训练数据对应的输出.

• 模型 M

  F={f(x;θ),θ∈Θ}

  • 线性模型：y=f(x)=ωTx+b
  • 广义线性模型：y=f(x)=ωTϕ(x)+b
  • 非线性模型：ANN - - -DL模型

• 准则 C

  • 损失函数 L(y,f(x))
  • 经验风险R(θ)=1m∑mi=1L(yi,f(xi,θ))
  • 正则项：||ω||2
  • 目标函数： minR(θ)+λ||ω||2

线性模型和广义线性模型

对于一部分数据来说，本身就是稀疏的，可以通过线性模型直接优化求解的模型，有很大一部分数据本身不是稀疏度，不可以通过线性模型直接求解，但是此类数据在其他域如小波域，DCT域等可以稀疏表示，从而通过线性模型进行优化求解。

ANN简介

• 神经元
  

y=f(∑iwiai+bi)

神经层
多个神经元组成神经层。

神经网

全参数ANN问题

可训练参数太多
1. 计算资源要大 需要海量的CPU来玩这个算法。
2. 数据量充足 数据量小，参数多，过拟合的问题就严重了。
3. 算法效率要高 茫茫大海中如何去寻找那组最优的参数需要高效的进行。
4. 解释困难 虽然模型取得效果，但是很难直观解释为什么模型会work。
5. 当神经网络层数增多时问题变为非凸优化问题，引入局部极值问题。
6. 具有梯度弥散问题，当层数增多时会出现过拟合问题。