时间：2014.07.02
地点：基地
------------------------------------------------------------------------
一、简述
受限玻尔兹曼机9RBM)是一类具有两层结构、对称链接无自反馈的随机神经网络模型，层与层之间是全连接，层内无链接，也就是说是一个二部图。
RBM是一种有效的特征提取方法，常用于初始化前馈神经网络，可明显提高泛化能力。而由多个RBM结构堆叠而成的深度信念网络能提取出更好更抽象的特征，从而用来分类。一下先从玻尔兹曼机说起，进而引出玻尔兹曼机的的改进版——受限玻尔兹曼机。
------------------------------------------------------------------------
二、玻尔兹曼机（BM)
玻尔兹曼机于1986由大神Hinton年提出，是一种根植于统计力学的随机神经网络。网络中的神经元是随机神经元，神经元的输出只有两种状态（未激活和激活状态），用二进制0 1表示。状态的取值根据概率统计法制决定。
BM是由随机神经元全连接组成的反馈神经网络，且对称连接，无自反馈，包含一个可见层和一个隐层。如下图所示：
BM具有很强大的无监督学习能力，能够学习数据中复杂的规则，代价是训练（学习）时间很长，此外，不仅难以准确计算BM所表示的分布，得到服从BM所表示分布的随机样本也很困难。于是引入一种限制玻尔兹曼机RBM。
------------------------------------------------------------------------
三、受限玻尔兹曼机（RBM）
RBM具有一个可见层，一个隐层，层内无连接，层与层之间全连接，是一个二分图，如下结构。
受限玻尔兹曼机结构的特点是：在给定可见层单元状态（输入数据）时，各隐层单元的激活条件独立，反过来看，在给定隐层单元状态时，可见层单元的激活条件也是独立的。这样，尽管RBM所表示的分布仍无法有效计算，但可通过Gibbs采样得到服从RBM所表示分布的随机样本。只要隐层单元的数目足够，RBM就能拟合任意离散分布。Hinton于2002年提出了一个RBM的快速学习算法，对比散度（Contrastive Divergence，CD）算法，促使大家对RBM的研究讨论。在应用方面，RBM模型已经成功被用来解决不同的机器学习问题，比如分类，回归，降维，高维时间序列建模，图像特征提取和协同过滤等方面。
2006年Hinton等提出了深度信念网(Deep Belief Nets，DBN）,并给出了该模型的一个高效学习算法，是目前深度学习算法的主要框架，在该算法中，一个DBN模型由若干个RBM堆叠而成，训练过程由低到高逐层训练，具体如下描述：
1.最底部RBM以原始输入数据训练
2.将底部RBM抽取的特征作为顶部RBM的输入继续训练
3.重复这个过程训练尽可能多的RBM层。
由于RBM可通过CD快速训练，于是这个框架绕过直接从整体上对DBN训练的高度复杂，将DBN的训练简化为对多个RBM的训练，从而简化问题。而且，通过这种方式训练后，可以再通过传统的全局学习算法比如BP算法对网络进行微调，从而使模型收敛到局部最优点。
总的一点说，整个过程相当于我们先逐层对RBM进行训练，将模型参数初始化为较优的值，再通过少量的传统学习算法进一步训练，即薇调，这样，不仅解决了模型训练速度慢的问题，也取得了很好的效果。大量实验表明，通过这种方式能够产生非常好的参数初始值，大大提升模型的建模能力。由RBM为基本结构的DBN模型是当前最有效的深度学习算法之一。