神经网络稳定性分析

神经网络稳定性

系统动力学系统表述

研究一个系统最终目的是为了得到系统变量随时间变化的轨迹x(t)=f(t) ，但实际上，只能获取系统每时每刻的受力情况，而并不能直接知道最终的轨迹方程，这个是符合我们日常生活经验和逻辑的。因此，我们需要观察系统每一个时刻状态的变化情况，微分方程就是用于研究变量的变化率大小，我们称之为动力学方程。我们可以求解微分方程得到，得到最终的运动轨迹。综上，采用一阶微分方程表述系统动力学系统，之所以采用一阶微分方程，是因为高阶微分方程都可以降阶为一阶方程进行研究，因此一阶微分方程具有通用型。

神经网络的稳定性和收敛性与神经网络控制系统的稳定性区别和联系

一个系统通常由两部分组成，一部分为动力学系统，另一部分为输入输出系统。Lyapunov稳定性理论是用来研究微分方程稳定性问题，即该方程的解能否稳定在平衡点附近，平衡点通俗的讲，就是指使得导数项为零的点。

控制系统稳定性

• 稳定性定义
  研究控制系统稳定性是指，系统的输出值能否跟上期望值，也就是系统的稳定性是针对输出值进行分析，但实际上，由于系统具有动力学系统，其实输出值也就具备动力学特性，换句话说，对输出y 求导，就可以利用已有的动力学方程构建输出y 的动力学方程
• 稳定性原理
  利用Lyapunov稳定性理论分析稳定性时，原有的动力学方程中x˙=f(x,u) 的控制输入项u ，要根据采用的控制算法，将u=f(x) 代入方程中，也就是要使方程中出现的项都是状态变量x˙=f(x)
• 稳定性分析步骤
  
  1. 首先需要利用期望的输出与系统的输出，求导后得到误差动力学系统e˙=f(e)
  2. 随后，我们再利用误差e 构建Lyapunov方程；最后对Lyapunov方程，利用e˙=f(e) ，即可进行分析

---

神经网络系统稳定性与收敛性

• 神经网络系统

系统的输入输出系统
神经网络可以逼近任意一个函数，从系统的角度看，神经网络相当于系统的输出函数即

y=f(w,x)

系统的动力学系统
对于一个函数而言并没有所谓的稳定性，因为稳定性针对微分方程，然而神经网络的权值w 是可以调整的，即根据相应的学习规则进行学习修正，这就相当于系统的动力学方程，即

w˙=f(w,t)

学习的规则相当于控制系统的控制算法

• 收敛性与稳定性定义
  如果权值w 可以收敛至平衡点，即称权值收敛，那么输出也就可以拟合期望的输出，即称系统稳定，因此收敛性是针对变量而言，稳定性是针对系统而言

• 与控制系统的联系
  神经网络表现为输出方程，往往我们会被神经网络输入感到迷惑，以为这等价于系统的控制输入，其实是这是系统输出方程的输入
  研究控制系统的稳定性时，是基于某一个固定的期望输入值，并不会实时变换着期望输入，实际上我们在运用过程中是变化着输入的，但是研究稳定性时，采用固定输入，因为跟踪上某一个期望输入即代表系统的稳定。神经网络也是一样，假定系统的期望输出是一个固定值，也就是神经网络的输入端的值是固定的。
  而神经网络的权值则为动力学系统，因此在使用Lyapunov函数进行稳定性的分析，与控制系统是一致的

---

综合

神经网络的隐藏层个数、连接权值的初值是随机的，在其控制下，系统的稳定性得到不到保证，控制系统不稳定，网络的收敛性失去了基础
综上，神经网络的收敛性是系统控制稳定性的基础，我们假定神经网络控制可以找到最优的控制参数，那么网络的收敛性可以保证收敛到最优参数。