受限玻爾茲曼機(Restricted Boltzmann Machine, RBM) 簡介

  受限玻爾茲曼機(Restricted Boltzmann Machine,簡稱RBM)是由Hinton和Sejnowski於1986年提出的一種生成式隨機神經網絡(generative stochastic neural network)，該網絡由一些可見單元(visible unit，對應可見變量，亦即數據樣本)和一些隱藏單元(hidden unit，對應隱藏變量)構成，可見變量和隱藏變量都是二元變量，亦即其狀態取{0,1}。整個網絡是一個二部圖，只有可見單元和隱藏單元之間纔會存在邊，可見單元之間以及隱藏單元之間都不會有邊連接，如下圖所示：

 

  

  上圖所示的RBM含有12個可見單元(構成一個向量v)和3個隱藏單元(構成一個向量h)，W是一個12*3的矩陣，表示可見單元和隱藏單元之間的邊的權重。

1. RBM的學習目標-最大化似然(Maximizing likelihood)

  RBM是一種基於能量(Energy-based)的模型，其可見變量v和隱藏變量h的聯合配置(joint configuration)的能量爲：

  （式子-1）

  其中θ是RBM的參數{W, a, b}, W爲可見單元和隱藏單元之間的邊的權重，b和a分別爲可見單元和隱藏單元的偏置(bias)。

  有了v和h的聯合配置的能量之後，我們就可以得到v和h的聯合概率：

                     （式子-2）

  其中Z(θ)是歸一化因子，也稱爲配分函數(partition function)。根據式子-1，可以將上式寫爲：

    （式子-3）

  我們希望最大化觀測數據的似然函數P(v)，P(v)可由式子-3求P(v,h)對h的邊緣分佈得到:

       (式子-4)

  我們通過最大化P(v)來得到RBM的參數，最大化P(v)等同於最大化log(P(v))=L(θ)：

                       (式子-5)

2. RBM的學習方法-CD(Contrastive Divergence，對比散列)

  可以通過隨機梯度下降(stichastic gradient descent)來最大化L(θ)，首先需要求得L(θ)對W的導數：

       (式子-6)

  經過簡化可以得到：

     (式子-7)

  後者等於

                           (式子-8)

  式子-7中的前者比較好計算，只需要求v_ih_j在全部數據集上的平均值即可，而後者涉及到v，h的全部2^|v|+|h|種組合，計算量非常大(基本不可解)。

  爲了解決式子-8的計算問題，Hinton等人提出了一種高效的學習算法-CD(Contrastive Divergence)，其基本思想如下圖所示：

    

  首先根據數據v來得到h的狀態，然後通過h來重構(Reconstruct)可見向量v¹，然後再根據v1來生成新的隱藏向量h¹。因爲RBM的特殊結構(層內無連接，層間有連接)， 所以在給定v時，各個隱藏單元h_j的激活狀態之間是相互獨立的，反之，在給定h時，各個可見單元的激活狀態v_i也是相互獨立的，亦即：

  (式子-9)

  重構的可見向量v¹和隱藏向量h¹就是對P(v,h)的一次抽樣，多次抽樣得到的樣本集合可以看做是對P(v,h)的一種近似，使得式子-7的計算變得可行。

  RBM的權重的學習算法：

1. 取一個樣本數據，把可見變量的狀態設置爲這個樣本數據。隨機初始化W。
2. 根據式子-9的第一個公式來更新隱藏變量的狀態，亦即h_j以P(h_j=1|v)的概率設置爲狀態1，否則爲0。然後對於每個邊v_ih_j，計算P_data(v_ih_j)=v_i*h_j(注意，v_i和h_j的狀態都是取{0,1})。
3. 根據h的狀態和式子-9的第二個公式來重構v¹，並且根據v1和式子-9的第一個公式來求得h¹，計算P_model(v¹_ih¹_j)=v¹_i*h¹_j。
4. 更新邊v_ih_j的權重W_ij爲W_ij=W_ij+L*(P_data(v_ih_j)=P_model(v¹_ih¹_j))。
5. 取下一個數據樣本，重複1-4的步驟。
6. 以上過程迭代K次。