吴恩达Deeplearning.ai 知识点梳理（course 5，week 1）

  本周主要讲的是RNN，LSTM。
  序列数据在很多场景下都有出现，下面是几个序列模型的例子。

几个例子

  例如语音识别（序列-序列），音乐生成（1-序列），情感分类（序列-1）等等。

  输入句子是向量x$\mathbf{x}$ ，每一个词汇是x<t>$x^{<t>}$ ，第i个样本的第t个词汇是x(i)<t>$x^{(i)<t>}$ ，输出y$y$ 也同理。

词语的表示

  一般来说会做一个词汇表，然后对词汇进行编码1，2，3，4…，然后转换成独热码。然后作为输入即可。

基本的RNN模型

几个要点：

每一级的输入，不仅取决于输入，也取决于网络内部状态。
有一种简介的模式

Forward & Backward Propagation

其实这里仅仅是简单的写了一下，附录里边做个详细推导吧。

RNN的类型

第一种many to many的，是Tx=Ty$T_x=T_y$ 的，例如名字检测。然后是many to one，例如Sentiment Classification。还有one to one的，这种就是一个很trival的模型了。

还有这种one to many的，例如music generation，给了初始化的一个a<0>$a^{<0>}$ 和x$x$ ，一般都是zero vector，然后通过随机采样输出一个序列。后边每一个的输入是前一集输出的随机采样。还有后边这种many to many的，比方说machine translation，这个是Tx≠Ty$T_x\ne T_y$ 的，一般前边给出的是encoder-decoder的方式。
总结如下：

Language Modeling

  Language Modeling其实就是给定一个sentence，然后给出这个sentence的出现概率是多少：

  那应该如何用RNN来做呢？

  如图所示，我们首先输入一个x<1>=0$x^{<1>}=\mathbf{0}$ 以及a<0>=0$a^{<0>}=\mathbf{0}$ 然后输出y^<1>${\hat{y}}^{<1>}$ ，这个表达的是整体词表的分布。比方说P(a)，P(aron)等等。然后把cat作为x<2>=y<1>$x^{<2>}=y^{<1>}$ 输入给网络，这个时候让网络输出P(average|cat)，以此类推。而Loss则是熟悉的交叉熵Loss。用来估计概率。当我们依次输入了0,y<1>,y<2>,...,y<n>$\mathbf{0}\mathbf{,}{\mathbf{y}}^{\mathbf{<}\mathbf{1}\mathbf{>}}\mathbf{,}{\mathbf{y}}^{\mathbf{<}\mathbf{2}\mathbf{>}}\mathbf{,}\mathbf{.}\mathbf{.}\mathbf{.}\mathbf{,}{\mathbf{y}}^{\mathbf{<}\mathbf{n}\mathbf{>}}$ ，这样我们就得到了P(y<1>),P(y<2>|y<1>),...,$P(y^{<1>}),P(y^{<2>}|y^{<1>}),...,$ 等一系列的概率，把它们乘起来就得到了语言模型。也就是句子的概率。

序列采样

  当我们训练好了一个模型之后，输入初始的0，然后我们可以得到一个词汇表的概率分布。从中按照概率分布随机采样一个词汇，然后输入给后级，以此类推。最后得到最终结果。直到采集到一个EOS，或者一个预先设定的句子长度。

RNN的梯度消失问题

随着RNN一级一级的加深，会出现一个梯度爆炸或者梯度消失的问题。梯度爆炸就容易出现NaN，这种其实还比较容易解决，就是cliping一下过大的梯度就可以了。梯度消失就变得非常麻烦。尤其是有的时候作为文字（英语），后边的动词可能依赖之前很长的主语，但是后级其实很难将梯度传播到很靠前的一级。这就是普通RNN的问题。

GRU

  GRU是Gated Recurrent Unit，用来解决长链中的dependence问题。

  在GRU中，首先有一个memory cell，c，这个c=a，也就是inner state。每次更新时，先计算一个c~$\tilde{c}$ 作为一个c的candidate。然后在计算一个Γ$\mathrm{\Gamma }$ 作为门控参数，也就是更新多少。最后c<t>=Γu⋅c~<t>+(1−Γu)⋅c<t−1>$c^{<t>}={\mathrm{\Gamma }}_u\cdot {\tilde{c}}^{<t>}+(1-{\mathrm{\Gamma }}_u)\cdot c^{<t-1>}$ ，这样即使是在长链中，由于有记忆单元和更新门控参数的存在，也能学习到长链中的dependence信息。

LSTM

  LSTM是一个比GRU早很多的结构。这个结构的提出带来了巨大的影响和进步。可以看到，在LSTM中，基本的memory 思路是不变的，但是增加了遗忘参数Γf${\mathrm{\Gamma }}_f$ ，以及输出参数Γo${\mathrm{\Gamma }}_o$ 。这样模型的表达能力更强。在GRU中，遗忘参数是(1−Γu)$(1-{\mathrm{\Gamma }}_u)$ 。

双向RNN

  之前说的都是单向的RNN：

但是比方说有些时候，只看之前的序列做出预测会出现问题，比方说Teddy在这句Teddy bears里其实是毛绒玩具，然而在下一句中则是总统名。这两个Teddy的前边都是一样的，但是一个是人名，一个不是。所以不仅仅要看前边，也要看后边。因此，出现了双向RNN。

也就是在顺时间输入的情况下，加上一个逆时间输入的网络。然后对这两个网络的输出进行一个合并，然后得到最终的输出。

Deep RNN

  为了增强模型的表达能力，可以RNN变深。如图所示，最左侧是普通的DNN，然后我们按照时间维度展开即可。由于时间维度的存在，训练RNN是一个非常耗时的计算。所以通常来说一般也就3就够了。