能量函數在神經網絡中的意義

能量函數(energy function)一開始在熱力學中被定義，用於描述系統的能量值，當能量值達到最小時系統達到穩定狀態。
在神經網絡(Neural Network)中，在RBM中被首次使用。在RBM中，輸入層v和隱藏層h之間的能量函數定義爲：

E(v,h)=∑i∈vaivi+∑j∈hbjhj+∑i∈v,j∈hvihjwij

將a,v,b,h和w向量表示成矩陣，這個式子可以簡化爲

E(v,h)=A×V+B×H+V×W×H

A，B，W都是權重矩陣，從式中可以看出，這個能量函數爲V和H的加權與VH的加權和。在後續的步驟中，v和h的聯合概率爲p(v,h)=1zeE(v,h) ,其中z爲歸一化因子。訓練的目的爲使得聯合概率儘量大，即能量函數儘量小。從這個角度出發，能量函數的意義與熱力學相同，能量函數值越小，系統趨於穩定。所以能量函數是反映系統穩定程度的參考指標，在這個意義上與代價函數(cost function)相似。
Bengio 大牛在其 2003年的JMLR 論文中的未來工作一段，他提了一個能量函數，把輸入向量和輸出向量統一考慮，並以最小化能量函數爲目標進行優化。在這個意義上，能量函數和代價函數本質上是一樣的。