上海復旦大學吳立德教授深度學習課程一

簡介

DL是ML的分支，DL的框架與ML框架的一部分。

ML框架

• 數據 D

  D={xi,yi|1≤i≤m}

  
  xi 是監督學習的訓練數據輸入，yi 輸入訓練數據對應的輸出.

• 模型 M

  F={f(x;θ),θ∈Θ}

  • 線性模型：y=f(x)=ωTx+b
  • 廣義線性模型：y=f(x)=ωTϕ(x)+b
  • 非線性模型：ANN - - -DL模型

• 準則 C

  • 損失函數 L(y,f(x))
  • 經驗風險R(θ)=1m∑mi=1L(yi,f(xi,θ))
  • 正則項：||ω||2
  • 目標函數： minR(θ)+λ||ω||2

線性模型和廣義線性模型

對於一部分數據來說，本身就是稀疏的，可以通過線性模型直接優化求解的模型，有很大一部分數據本身不是稀疏度，不可以通過線性模型直接求解，但是此類數據在其他域如小波域，DCT域等可以稀疏表示，從而通過線性模型進行優化求解。

ANN簡介

• 神經元
  

y=f(∑iwiai+bi)

神經層
多個神經元組成神經層。

神經網

全參數ANN問題

可訓練參數太多
1. 計算資源要大 需要海量的CPU來玩這個算法。
2. 數據量充足 數據量小，參數多，過擬合的問題就嚴重了。
3. 算法效率要高 茫茫大海中如何去尋找那組最優的參數需要高效的進行。
4. 解釋困難 雖然模型取得效果，但是很難直觀解釋爲什麼模型會work。
5. 當神經網絡層數增多時問題變爲非凸優化問題，引入局部極值問題。
6. 具有梯度彌散問題，當層數增多時會出現過擬合問題。