起源
- 根據神經網絡運行過程中的信息流向，可分爲前饋式和反饋式兩種基本類型。前饋網絡的輸出僅由當前輸入和權矩陣決定，而與網絡先前的輸出狀態無關。
- 美國加州理工學院物理學家J.J.Hopfield教授於1982年提出一種單層反饋神經網絡，後來人們將這種反饋網絡稱作Hopfield 網。
網絡的狀態 ：
- DHNN網中的每個神經元都有相同的功能，其輸出稱爲狀態，用 xj 表示。
- 所有神經元狀態的集合就構成反饋網絡的狀態
- 反饋網絡的輸入就是網絡的狀態初始值，表示爲 X(0)=[x1(0),x2(0),…,xn(0)]T
- 反饋網絡在外界輸入激發下，從初始狀態進入動態演變過程，變化規律爲
xj=f(net(j)) - DHNN網的轉移函數常採用符號函數
- 淨輸入爲
網絡的異步工作方式
- 網絡運行時每次只有一個神經元進行狀態的調整計算，其它神經元的狀態均保持不變，即
網絡的同步工作方式
- 網絡的同步工作方式是一種並行方式，所有神經元同時調整狀態，即
網絡的穩定性
DHNN網實質上是一個離散的非線性動力學系統。網絡從初態X(0)開始，若能經有限次遞歸後，其狀態不再發生變化，即X(t+1)＝X(t)，則稱該網絡是穩定的。
如果網絡是穩定的，它可以從任一初態收斂到一個穩態：
- 若網絡是不穩定的，由於DHNN網每個節點的狀態只有1和-1兩種情況，網絡不可能出現無限發散的情況，而只可能出現限幅的自持振盪，這種網絡稱爲有限環網絡。
吸引子與能量函數
吸引子
網絡達到穩定時的狀態X，稱爲網絡的 吸引子。
若網絡的狀態X 滿足
X=f(WX-T)
則稱X爲網絡的吸引子。- 對於DHNN 網，若按異步方式調整網絡狀態，且連接權矩陣W 爲對稱陣，則對於任意初態，網絡都最終收斂到一個吸引子。
應用：
- 如果把吸引子視爲問題的解，從初態朝吸引子演變的過程便是求解計算的過程。
- 若把需記憶的樣本信息存儲於網絡不同的吸引子，當輸入含有部分記憶信息的樣本時，網絡的演變過程便是從部分信息尋找全部信息，即聯想回憶的過程。
能量函數
可以推到出：
- 由於網絡中各節點的狀態只能取1 或 –1 ，能量函數E(t)
作爲網絡狀態的函數是有下界的，因此網絡能量函數最終將收斂於一個常數，此時ΔE(t)=0 綜上所述，當網絡工作方式和權矩陣均滿足條件時，網絡最終將收斂到一個吸引子。
以上分析表明，在網絡從初態向穩態演變的過程中，網絡的能量始終向減小的方向演變，當能量最終穩定於一個常數時，該常數對應於網絡能量的極小狀態，稱該極小狀態爲網絡的能量井，能量井對應於網絡的吸引子。
實例：
網絡的權值設計
⑴爲保證異步方式工作時網絡收斂，W應爲對稱陣；
⑵爲保證同步方式工作時網絡收斂，W應爲非負定對稱陣；
⑶保證給定樣本是網絡的吸引子，並且要有一定的吸引域。
講解：
- TSP問題求解過程