時間：2014.07.02
地點：基地
------------------------------------------------------------------------
一、簡述
受限玻爾茲曼機9RBM)是一類具有兩層結構、對稱鏈接無自反饋的隨機神經網絡模型，層與層之間是全連接，層內無鏈接，也就是說是一個二部圖。
RBM是一種有效的特徵提取方法，常用於初始化前饋神經網絡，可明顯提高泛化能力。而由多個RBM結構堆疊而成的深度信念網絡能提取出更好更抽象的特徵，從而用來分類。一下先從玻爾茲曼機說起，進而引出玻爾茲曼機的的改進版——受限玻爾茲曼機。
------------------------------------------------------------------------
二、玻爾茲曼機（BM)
玻爾茲曼機於1986由大神Hinton年提出，是一種根植於統計力學的隨機神經網絡。網絡中的神經元是隨機神經元，神經元的輸出只有兩種狀態（未激活和激活狀態），用二進制0 1表示。狀態的取值根據概率統計法制決定。
BM是由隨機神經元全連接組成的反饋神經網絡，且對稱連接，無自反饋，包含一個可見層和一個隱層。如下圖所示：
BM具有很強大的無監督學習能力，能夠學習數據中複雜的規則，代價是訓練（學習）時間很長，此外，不僅難以準確計算BM所表示的分佈，得到服從BM所表示分佈的隨機樣本也很困難。於是引入一種限制玻爾茲曼機RBM。
------------------------------------------------------------------------
三、受限玻爾茲曼機（RBM）
RBM具有一個可見層，一個隱層，層內無連接，層與層之間全連接，是一個二分圖，如下結構。
受限玻爾茲曼機結構的特點是：在給定可見層單元狀態（輸入數據）時，各隱層單元的激活條件獨立，反過來看，在給定隱層單元狀態時，可見層單元的激活條件也是獨立的。這樣，儘管RBM所表示的分佈仍無法有效計算，但可通過Gibbs採樣得到服從RBM所表示分佈的隨機樣本。只要隱層單元的數目足夠，RBM就能擬合任意離散分佈。Hinton於2002年提出了一個RBM的快速學習算法，對比散度（Contrastive Divergence，CD）算法，促使大家對RBM的研究討論。在應用方面，RBM模型已經成功被用來解決不同的機器學習問題，比如分類，迴歸，降維，高維時間序列建模，圖像特徵提取和協同過濾等方面。
2006年Hinton等提出了深度信念網(Deep Belief Nets，DBN）,並給出了該模型的一個高效學習算法，是目前深度學習算法的主要框架，在該算法中，一個DBN模型由若干個RBM堆疊而成，訓練過程由低到高逐層訓練，具體如下描述：
1.最底部RBM以原始輸入數據訓練
2.將底部RBM抽取的特徵作爲頂部RBM的輸入繼續訓練
3.重複這個過程訓練儘可能多的RBM層。
由於RBM可通過CD快速訓練，於是這個框架繞過直接從整體上對DBN訓練的高度複雜，將DBN的訓練簡化爲對多個RBM的訓練，從而簡化問題。而且，通過這種方式訓練後，可以再通過傳統的全局學習算法比如BP算法對網絡進行微調，從而使模型收斂到局部最優點。
總的一點說，整個過程相當於我們先逐層對RBM進行訓練，將模型參數初始化爲較優的值，再通過少量的傳統學習算法進一步訓練，即薇調，這樣，不僅解決了模型訓練速度慢的問題，也取得了很好的效果。大量實驗表明，通過這種方式能夠產生非常好的參數初始值，大大提升模型的建模能力。由RBM爲基本結構的DBN模型是當前最有效的深度學習算法之一。