前言
最近在读一篇强化学习的论文以及代码，学到了很多新东西，特此记录下来。
CNN基本知识
Convolution：卷积
卷积核大小（filter size）为m * m卷积核（convolution kernel/convolution filter）一次移动一个卷积步长（convolution stride），在n * n图像上从左至右自上而下依次将卷积操作进行下去，最终输出大小（n-m+1）*（n-m+1）的卷积特征，同时该结果将作为下一层操作的输入。
Channels: 通道
首先，是 tensorflow 中给出的，对于输入样本中 channels 的含义。一般的RGB图片，channels 数量是 3 （红、绿、蓝）；而monochrome图片，channels 数量是 1 。
Number of color channels in the example images. For color images, the number of channels is 3 (red, green, blue). For monochrome images, there is just 1 channel (black). ——tensorflow
其次，mxnet 中提到的，一般 channels 的含义是，每个卷积层中卷积核的数量。
- channels (int) : The dimensionality of the output space, i.e. the number of output channels (filters) in the convolution. ——mxnet*
个人觉得mxnet的说法比较容易理解，因为大部分时候并不会按照颜色来分通道。
Filter size：卷积核大小
卷积操作的两个超参数（hyper parameters）之一。
Stride：卷积步长
卷积操作的两个超参数之一。
Pooling：池化/汇合
平均值（最大值） 汇合在每次操作时，将汇合核覆盖区域中所有值的平均值（最大值）作为汇合结果。
Fully Connected Layer：全连接层
例如输入为 3 × 3 × 5 的特征张量，从上图我们可以看出，我们用一个3 x 3 x 5的filter 去卷积激活函数的输出，得到的结果就是一个fully connected layer 的一个神经元的输出，这个输出就是一个值。若后层是含4096个神经元的全连接层时，则可用卷积核为 3 × 3 × 5 × 4096 的全局卷积（4096个大小为3 * 3 * 5不同的卷积核分别对输入进行卷积，每一个输出都作为一个结果神经元）来实现这一全连接运算过程。
参数为filter_size = 3; padding = 0; stride = 1; D_in = 5; D_out = 4096。
Batch/Epoch
批大小，就是每次调整参数前所选取的样本（称为mini-batch或batch）数量：
如果批大小为N，每次会选取N个样本，分别代入网络，算出它们分别对应的参数调整值，然后将所有调整值取平均，作为最后的调整值，以此调整网络的参数。
如果批大小N很大，例如和全部样本的个数一样，那么可保证得到的调整值很稳定，是最能让全体样本受益的改变。
如果批大小N较小，例如为1，那么得到的调整值有一定的随机性，因为对于某个样本最有效的调整，对于另一个样本不一定最有效（就像对于识别某张黑猫图像最有效的调整，不一定对于识别另一张白猫图像最有效）
训练中的另一个重要概念是epoch。每学一遍数据集，就称为1个epoch。 举例，若数据集中有1000个样本，批大小为10，那么将全部样本训练1遍后，网络会被调整1000/10=100次。但这并不意味着网络已达到最优，我们可重复这个过程，让网络再学1遍、2遍、3遍数据集。
注意每一个epoch都需打乱数据的顺序，以使网络受到的调整更具有多样性。同时，我们会不断监督网络的训练效果。通常情况下，网络的性能提高速度会越来越慢，在几十到几百个epoch后网络的性能会趋于稳定，即性能基本不再提高。
DQN(Deep Q Network)
建议阅读：
NIPS2013 Playing Atari with Deep Reinforcement Learning
Nature-2015：Human-level control through deep reinforcement learning
建议观看：https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/2-1-A-q-learning/
本篇博文主要想记的就是自己对DQN这个算法的理解。一开始看这篇paper的时候结合GitHub上一个强化学习玩Flappy Bird的代码觉得自己懂了这个算法，但是后来在读另一篇关于DDPG的paper时确被DQN结合Actor-Critic绕晕了，可见并没完全吃透。
Q-learning算法
DQN是基于Q-learning的。Q-Learning是强化学习算法中value-based的算法，Q即为Q（s,a）就是在某一时刻的 s 状态下(s∈S)，采取 动作a (a∈A)动作能够获得收益的期望，环境会根据agent的动作反馈相应的回报reward r，所以算法的主要思想就是将State与Action构建成一张Q-table来存储Q值，然后根据Q值来选取能够获得最大的收益的动作。
即agent通过每次选取当前最优动作来不断玩游戏、不断更新Q-table（我理解为策略表），自学习到更优。
由Bellman方程求解马尔可夫决策过程，总结出更新公式：
还有一种说法，和上面的公式是等价的：
两个是一样的。
Deep Q Network
我觉得DQN革新性的创意主要有
记忆库
记忆库就是一个样本集。每一个样本包含当前状态，当前状态做出的动作，做出动作的奖励以及下一个状态。每完成一个动作后，CNN并不直接学习当前的数据，而是存到记忆库中，从记忆库中随机抽一个出来学习。这样可以切断数据间的相关性。
CNN算Q
用CNN计算S对应的Q值。用CNN算Q值不难理解，比较妙的是用算出来的Q值当作Q网络更新的学习目标。Q-learning那样学习是线性的，而这样不是。
Nature Deep Q Network
这个是2015DeepMind在Nature上发的改进版。
Q-Target和Q
这个改进版最妙的是用了两个网络。简单来说，Q是由S决定动作A的网络，但这个网络需要学习集，Q-target就是用来算学习集/目标数据的。
上述的做法会令算Q-target的网络更新慢（因为只更新Q没更新Q-target），也可以看作Q-target参数被冻结了。所以每隔一段时间，会把比较新的网络（Q）copy到比较老的网络（Q-target），“解冻”。
后记
后续改进的DDQN以及Actor-Critic什么的有时间再写吧。本篇记载了DQN的基本最重要的思路，用这些跑个Flappy Birds啥的还是很OK的。