推薦系統與深度學習-學習筆記一

僅供學習使用
《推薦系統與深度學習》，黃昕等，清華大學出版社

2.2.3 反向傳播

鏈式法則

2.2.4 優化算法

2.2.4.1 網絡參數初始化

• 高斯分佈初始化

• 均勻分佈初始化

• Xavier初始化

2.2.4.2 學習率的選擇

• 模擬退火算法
  – 反向衰減學習率
  $\theta (t)=\frac{\eta _{0}}{1+t\cdot \gamma }$
  $\eta _{0}$是初始學習率，$\gamma$是衰減係數，$t$是迭代次數
  – 指數衰減學習率
  $\theta (t)=\frac{\eta _{0}}{exp(t\cdot \gamma) }$
• 動量方法
• RMSprop
• 自適應矩估計

2.3 卷積神經網絡

卷積層、池化層
常見網絡結構：

• LeNet-5 1998， LeCun
• AlexNet 2012，Hinton

2.4 循環神經網絡

$h_{t}=tanh(W_{hh}h_{t-1}+W_{xh}x_{t}+b_{h})$
$z_{t}=softmax(W_{hz}h_{t}+b_{z})$

2.4.1 時序反向傳播算法

• 梯度消失
• 梯度爆炸

2.4.2長短時記憶網絡

LSTM 2009

2.5 生成對抗

無監督學習

2.5.1 對抗博弈

2.5.3 常見的生成對抗網絡

• CGAN
• DCGAN
• GGAN
• SeqGAN