神經網絡的歷史與理論基礎

神經網絡的歷史與理論基礎

 

起步：

 

1943年,心理學家McCulloch和數學家Pitts合作,融匯了生物物理學和數學,提出了第一個神經計算模型:MP模型.

1949年,心理學家Hebb通過對大腦神經細胞、學習和條件反射的觀察與研究,提出了改變神經元連接強度的、至今仍有重要意義的Hebb規則.

 

發展:

1957年,Rosenblatt發展了MP模型,提出了感知器模型:Perceptron Model,給出了兩層感知器的收斂定理,並提出了引入隱層處理元件的三層感知器這一重要的研究方向.

1960年,Widrow提出自適應線性元件模型:Ada-line model以及一種有效的網絡學習方法:Widrow-Hoff學習規則.

19969年,Grossberg等提出了自適應共振理論模型:ART model,並在若干年後發展出了三個版本.

1972年,Kohonen提出了自組織映射理論模型:SOM Model,稱爲聯想存儲器.

1972年,神經心理學家Anderson也提出了一個類似的神經網絡結構:BSB,命名爲交互存儲器.

 

成熟:

1982年美國加州工學院的物理學家Hopfield提出了一個用於聯想記憶和優化計算的新途徑——Hopfield網絡,使得神經網絡的研究有了突破性進展.

1984年在Hopfield的一篇論文中,指出Hopfield網絡可以用集成電路實現,很容易被工程技術人員和計算機科技工作者理解,引起工程技術界的普遍關注.

 

還沒有完成的

1:迄今尚沒有提出較爲完善的神經網絡的統一網絡模型和通用學習算法;

2:多層網絡的層數、隱層神經元的數量、作用函數類型的選擇還缺少指導性原則;

3:網絡的逼近精度與逼近的非線性映射之間的關係沒有任何理論上的說明;

4:動態網絡的學習算法及穩定性分析.

 

神經網絡用於控制的優點

1:能夠充分畢竟任意複雜度的非線性關係;

2:能夠學習與適應嚴重不確定性系統的動態特性;

3:所有定量或定性的信息都等勢分佈存儲於網絡內的各種神經元以及連接權中,故有很強的魯棒性和容錯性;

4:採用並行分佈處理方法使得快速進行大量運算成爲可能.

 

對任意給定的函數f(x₁,x₂,…,x_n)和誤差進度ε>0,總存在一個三層前向神經網絡,其隱層神經元的作用函數爲σ(x),輸入層、輸出層爲線性神經元.

網絡的總輸入-輸出關係:Y= f₁(x₁,x₂,…,x_n)可以以規定的精度逼近給定的函數f(x₁,x₂,…,x_n).