Sparse RBM learning Algorithm
本文力求通過學習Sparse RBM learning Algorithm來理解掌握Rbm的整個訓練過程。從數學角度來看,我們要理解掌握Rbm模型參數的求解過程。所以,本文就是講解求Rbm數學模型參數的過程。
需要求解Rbm數學模型參數參數有可視層與隱藏層之間連接的權值矩陣W,可視層的偏置b,隱藏層的偏置c。
從分析目標函數着手,依次是目標函數中的每一項,每一項中的函數,函數中的每一個變量。
弄清函數中變量,在訓練的時候,那些是已知的,那些是未知。弄清怎樣由已知量去求解未知量。
Sparse RBM learning Algorithm就是一個優化問題,它求解的目標如下: