在之前的文章中，我们使用全连接神经网络解决了很多的问题，但是，这种解决问题的神经网络是不考虑顺序的，对于渐进式的，有顺序的数据，全连接神经网络往往不如循环神经网络的效果更好。
循环神经网络的最初想法，就是在全连接网络的基础之上，考虑前一层的数据，我们知道，全连接神经网络本质就是一堆非线性函数的叠加，其式子如下
若输入为128维的向量，下一层隐藏层为64维，则U为64*128的矩阵，其中128列与对应的128维相乘，64行中每一行的数值实际上就是128维与下一层第i行相连的权重向量。
循环神经网络最初的想法，就是在这个基础之上，加上上一层经过变换后的向量，即
其中
RNN本质上也是一个神经网络，传统上，我们经常把横轴作为时间轴，实际上这个时间轴就是为数据有序输入而准备的，其画法如下：
但实际上他就是一个循环利用上一层隐藏层的单个神经网络，其竖直方向是传统意义上的神经网络。
在keras中，若想进行RNN的堆叠，则return_sequence参数必须设为True，这样返回的才是一系列数据，如果后面不想接RNN，而是想对某句由多词组合的句子进行进一步分析，则return_sequence可为False。