李宏毅深度學習視頻摘要

視頻地址

李宏毅深度學習（nlp）2017

視頻摘要

P1

講了RNN，LSTM ,GRU網絡構造

P2

講了卷積的原理，pooling的原理，已經不太常規的poolling方法。另外提到一種特殊的Rnn結構stackRNN

P3

講了深度學習反向傳播的知識，其中提到鏈式法則，fc網絡的bp方法和RNN的bp方法

P4

講語言模型
n-gram : P(a|b)直接統計語料庫的概率
nn-based-LM: P(a|b)由網絡計算出來，其原理是matrix-factorization
RNN-based-LM: P(a|b,c)由網絡計算出，RNN可以用前一次計算的隱狀態，相比傳統方法計算P（a|b,c）參數計算量更少。