神經網絡穩定性分析

神經網絡穩定性

系統動力學系統表述

研究一個系統最終目的是爲了得到系統變量隨時間變化的軌跡x(t)=f(t) ，但實際上，只能獲取系統每時每刻的受力情況，而並不能直接知道最終的軌跡方程，這個是符合我們日常生活經驗和邏輯的。因此，我們需要觀察系統每一個時刻狀態的變化情況，微分方程就是用於研究變量的變化率大小，我們稱之爲動力學方程。我們可以求解微分方程得到，得到最終的運動軌跡。綜上，採用一階微分方程表述系統動力學系統，之所以採用一階微分方程，是因爲高階微分方程都可以降階爲一階方程進行研究，因此一階微分方程具有通用型。

神經網絡的穩定性和收斂性與神經網絡控制系統的穩定性區別和聯繫

一個系統通常由兩部分組成，一部分爲動力學系統，另一部分爲輸入輸出系統。Lyapunov穩定性理論是用來研究微分方程穩定性問題，即該方程的解能否穩定在平衡點附近，平衡點通俗的講，就是指使得導數項爲零的點。

控制系統穩定性

• 穩定性定義
  研究控制系統穩定性是指，系統的輸出值能否跟上期望值，也就是系統的穩定性是針對輸出值進行分析，但實際上，由於系統具有動力學系統，其實輸出值也就具備動力學特性，換句話說，對輸出y 求導，就可以利用已有的動力學方程構建輸出y 的動力學方程
• 穩定性原理
  利用Lyapunov穩定性理論分析穩定性時，原有的動力學方程中x˙=f(x,u) 的控制輸入項u ，要根據採用的控制算法，將u=f(x) 代入方程中，也就是要使方程中出現的項都是狀態變量x˙=f(x)
• 穩定性分析步驟
  
  1. 首先需要利用期望的輸出與系統的輸出，求導後得到誤差動力學系統e˙=f(e)
  2. 隨後，我們再利用誤差e 構建Lyapunov方程；最後對Lyapunov方程，利用e˙=f(e) ，即可進行分析

---

神經網絡系統穩定性與收斂性

• 神經網絡系統

系統的輸入輸出系統
神經網絡可以逼近任意一個函數，從系統的角度看，神經網絡相當於系統的輸出函數即

y=f(w,x)

系統的動力學系統
對於一個函數而言並沒有所謂的穩定性，因爲穩定性針對微分方程，然而神經網絡的權值w 是可以調整的，即根據相應的學習規則進行學習修正，這就相當於系統的動力學方程，即

w˙=f(w,t)

學習的規則相當於控制系統的控制算法

• 收斂性與穩定性定義
  如果權值w 可以收斂至平衡點，即稱權值收斂，那麼輸出也就可以擬合期望的輸出，即稱系統穩定，因此收斂性是針對變量而言，穩定性是針對系統而言

• 與控制系統的聯繫
  神經網絡表現爲輸出方程，往往我們會被神經網絡輸入感到迷惑，以爲這等價於系統的控制輸入，其實是這是系統輸出方程的輸入
  研究控制系統的穩定性時，是基於某一個固定的期望輸入值，並不會實時變換着期望輸入，實際上我們在運用過程中是變化着輸入的，但是研究穩定性時，採用固定輸入，因爲跟蹤上某一個期望輸入即代表系統的穩定。神經網絡也是一樣，假定系統的期望輸出是一個固定值，也就是神經網絡的輸入端的值是固定的。
  而神經網絡的權值則爲動力學系統，因此在使用Lyapunov函數進行穩定性的分析，與控制系統是一致的

---

綜合

神經網絡的隱藏層個數、連接權值的初值是隨機的，在其控制下，系統的穩定性得到不到保證，控制系統不穩定，網絡的收斂性失去了基礎
綜上，神經網絡的收斂性是系統控制穩定性的基礎，我們假定神經網絡控制可以找到最優的控制參數，那麼網絡的收斂性可以保證收斂到最優參數。