受限玻尔兹曼机学习(一)

时间:2014.07.02

地点:基地

------------------------------------------------------------------------

一、简述

  受限玻尔兹曼机9RBM)是一类具有两层结构、对称链接无自反馈的随机神经网络模型,层与层之间是全连接,层内无链接,也就是说是一个二部图。

RBM是一种有效的特征提取方法,常用于初始化前馈神经网络,可明显提高泛化能力。而由多个RBM结构堆叠而成的深度信念网络能提取出更好更抽象的特征,从而用来分类。一下先从玻尔兹曼机说起,进而引出玻尔兹曼机的的改进版——受限玻尔兹曼机。

------------------------------------------------------------------------

二、玻尔兹曼机(BM)

  玻尔兹曼机于1986由大神Hinton年提出,是一种根植于统计力学的随机神经网络。网络中的神经元是随机神经元,神经元的输出只有两种状态(未激活和激活状态),用二进制0 1表示。状态的取值根据概率统计法制决定。

  BM是由随机神经元全连接组成的反馈神经网络,且对称连接,无自反馈,包含一个可见层和一个隐层。如下图所示:


  BM具有很强大的无监督学习能力,能够学习数据中复杂的规则,代价是训练(学习)时间很长,此外,不仅难以准确计算BM所表示的分布,得到服从BM所表示分布的随机样本也很困难。于是引入一种限制玻尔兹曼机RBM。

------------------------------------------------------------------------

三、受限玻尔兹曼机(RBM)

RBM具有一个可见层,一个隐层,层内无连接,层与层之间全连接,是一个二分图,如下结构。


  受限玻尔兹曼机结构的特点是:在给定可见层单元状态(输入数据)时,各隐层单元的激活条件独立,反过来看,在给定隐层单元状态时,可见层单元的激活条件也是独立的。这样,尽管RBM所表示的分布仍无法有效计算,但可通过Gibbs采样得到服从RBM所表示分布的随机样本。只要隐层单元的数目足够,RBM就能拟合任意离散分布。Hinton于2002年提出了一个RBM的快速学习算法,对比散度(Contrastive Divergence,CD)算法,促使大家对RBM的研究讨论。在应用方面,RBM模型已经成功被用来解决不同的机器学习问题,比如分类,回归,降维,高维时间序列建模,图像特征提取和协同过滤等方面。

  2006年Hinton等提出了深度信念网(Deep Belief Nets,DBN),并给出了该模型的一个高效学习算法,是目前深度学习算法的主要框架,在该算法中,一个DBN模型由若干个RBM堆叠而成,训练过程由低到高逐层训练,具体如下描述:

1.最底部RBM以原始输入数据训练

2.将底部RBM抽取的特征作为顶部RBM的输入继续训练

3.重复这个过程训练尽可能多的RBM层。

  由于RBM可通过CD快速训练,于是这个框架绕过直接从整体上对DBN训练的高度复杂,将DBN的训练简化为对多个RBM的训练,从而简化问题。而且,通过这种方式训练后,可以再通过传统的全局学习算法比如BP算法对网络进行微调,从而使模型收敛到局部最优点。

  总的一点说,整个过程相当于我们先逐层对RBM进行训练,将模型参数初始化为较优的值,再通过少量的传统学习算法进一步训练,即薇调,这样,不仅解决了模型训练速度慢的问题,也取得了很好的效果。大量实验表明,通过这种方式能够产生非常好的参数初始值,大大提升模型的建模能力。由RBM为基本结构的DBN模型是当前最有效的深度学习算法之一。



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章