最小二乘法系统辨识小结

吴爱国.系统辨识讲义
丁峰.系统辨识新论

最近看完了系统辨识课程的讲义，总结一下讲义上的内容：
系统辨识分为系统结构辨识和系统参数辨识。课程的内容是系统参数的辨识，即假设系统结构已知。
辨识的四要素：输入输出数据，模型集，准则函数，优化方法。
课程中模型的结构已知，实际的辨识中会存在多个可能的模型结构，构成待辨识的模型集。

$A(z)=1+a_1z^{-1}+a_2z^{-2}+.....+a_{n_a}z^{-n_a}$$B(z)=b_1z^{-1}+b_2z^{-2}+.....+b_{n_b}z^{-n_b}$$C(z)=1+c_1z^{-1}+c_2z^{-2}+.....+c_{n_c}z^{-n_c}$$D(z)=1+d_1z^{-1}+d_2z^{-2}+.....+d_{n_d}z^{-n_d}$$F(z)=1+f_1z^{-1}+f_2z^{-2}+.....+f_{n_f}z^{-n_f}$
随机白噪声 $v(t)$,$E(v(t))=0$,$D(v(t))=\sigma^2$

一.常用随机系统模型

常用的辨识模型有以下几类：

1.时间序列模型

（1）自回归模型（AR）$A(z)y(t)=v(t)$
该模型表示当前值是过去值的组合。
(2)滑动平均模型(MA)$y(t)=D(z)v(t)$
当前值是过去白噪声的组合。
(3)滑动平均自回归模型（ARMA）$A(z)y(t)=D(z)v(t)$
（4）确定性模型（ARMA）$A(z)y(t)=B(z)u(t)$

2.方程误差模型

误差是指描述输入和输出之间的差分方程的误差.
(1)受控自回归模型(ARX)$A(z)y(t)=B(z)u(t)+v(t)$
(2)受控自回归滑动平均模型(ARMAX)$A(z)y(t)=B(z)u(t)+D(z)v(t)$
(3)受控ARAR模型(ARARX)$A(z)y(t)=B(z)u(t)+v(t)/C(z)$
(4)受控ARARMA模型(ARARMAX)$A(z)y(t)=B(z)u(t)+\frac{D(z)}{C(z)}v(t)$

3.输出误差模型

(1)输出误差模型(OE)$y(t)=\frac{B(z)}{A(z)}u(t)+v(t)$
(2)输出误差滑动平均模型(OEMA)$y(t)=\frac{B(z)}{A(z)}u(t)+D(z)v(t)$
(3)输出误差自回归模型(OEAR)$y(t)=\frac{B(z)}{A(z)}u(t)+\frac{1}{C(z)}v(t)$
(4)输出误差自回归滑动平均模型(OEARMA)$y(t)=\frac{B(z)}{A(z)}u(t)+\frac{D(z)}{C(z)}v(t)$

二.辨识模型

为了辨识系统参数,一般把系统的参数写成一个参数向量形式,输入输出写成一个信息向量形式,就得到系统的辨识模型,也称为辨识表达式.一般单输入单输出线性参数系统的辨识模型可以表达为:$y(t)=\varphi^T(t)\theta+v(t)$

三. 最小二乘基本原理

以一个典型的受控自回归模型为例:
设系统的模型为$y(t)+a_1y(t-1)+a-2y(t-2)=b_1u(t)+b_2u(t-1)+v(t)$
将其写为如下的形式:$y(t)=-a_1y(t-1)-a_2y(t-2)+b_1u(t)+b_2u(t-1)+v(t)$
设观测的数据长度为t,对这个模型有:$y(3)=-a_1y(2)-a_2y(1)+b_1u(3)+b_2u(2)+v(3)$$y(4)=-a_1y(3)-a_2y(2)+b_1u(4)+b_2u(3)+v(4)$$...............$$y(t)=-a_1y(t-1)-a_2y(t-2)+b_1u(t)+b_2u(t-1)+v(t)$
令$Y=[y(3),y(4)....y(t)]^T$$\varphi^T(i)=[-y(i-1),-y(i-2),u(i),u(i-1)]$$\theta=[a_1,a_2,b_1,b_2]$$H=[\varphi(3),\varphi(4),.....\varphi(t)]^T$$V=[v(3),v(4)....v(t)]^T$

我们可以得到:$Y=H\theta+V$
令准则函数为$J(\theta)=(Y-H\theta)^T(Y-H\theta)$
$J$对$\theta$求偏导,并令其偏导数为零.得到$\theta$的估计值$\theta_{LS}=(H^TH)^{-1}H^TY$

四.最小二乘估计的统计特性

1.无偏性定理

已知$\theta$的最小二乘估计$\theta_{LS}=(H^TH)^{-1}H^TY$,辨识模型可以写成:$Y=H\theta+W$,$W$代表任意形式的噪声.在这里先不考虑$W$中未知参数的辨识,只考虑与输入和输出(可测)有关的待估计参数.
则$\theta_{LS}$的数学期望$E(\theta_{LS})=E[(H^TH)^{-1}H^TY]$$=E[(H^TH)^{-1}H^T(H\theta+W)]\theta$$=E[\theta+(H^TH)^{-1}H^TW]$$=\theta+E[(H^TH)^{-1}H^TW]$其中$(H^TH)^{-1}H^T为常数$,所以$E(\theta_{LS})=\theta+(H^TH)^{-1}H^TE[W]$当$W$为白噪声,则$E(\theta_{LS})=\theta$.$E(\theta_{LS})$为$\theta$的无偏估计.
或当噪声向量$W$的均值为0,且与$H$无关时,$E(\theta_{LS})$为$\theta$的无偏估计.

2.估计误差协方差定理

对一个系统$Y=H\theta+W$,设噪声向量$W$的均值为零,协方差矩阵$cov[W]=R_v$,且$W$与$H$相互独立,则参数估计误差$\tilde{\theta_{LS}}=\theta_{LS}-\theta$的协方差矩阵为$cov[\tilde{\theta_{LS}}]=E[(H^TH)^{-1}H^TR_vH(H^TH)^{-1}]$
$cov[\tilde{\theta_{LS}}]=\sigma^2E[(H^TH)^{-1}]$
如果$W$是一白噪声序列，且其方差为$\sigma^2$,则$cov[\tilde{\theta_{LS}}]=\sigma^2E[(H^TH)^{-1}]$

3.噪声方差估计定理

对一个系统$Y=H\theta+W$,设$W$和$H$是统计独立的零均值白噪声向量,$W$的分量为零均值白噪声向量$v(t)$,则v(t)的方差$\sigma^2$的估计为:$\hat{\sigma^2}=\frac{J[\tilde{\theta_{LS}}]}{t-n},t充分大时$其中$n:=dim\theta=\theta的维数$

五.常用的各类最小二乘辨识算法

1.递推最小二乘辨识

适用模型
受控自回归模型(ARX):$A(z)y(t)=B(z)u(t)+v(t)$
将上述模型写为辨识模型的形式:$Y=H\theta+W$
递推最小二乘的算法如下:$\hat\theta(t)=\hat\theta(t-1)+L(t)[y(t)-\varphi^T(t)\hat\theta(t-1)]$$L(t)=\frac{P(t-1)\varphi(t)}{1+\varphi^T(t)P(t-1)\varphi(t)}$$P(t)=[I-L(t)\varphi^T(t)]P(t-1),P(0)=p_0I$$\varphi(t)=[-y(t-1) ,-y(t-2)....,-y(t-n_a),u(t-1),u(t-2),.....u(t-n_b)]$
计算顺序如下:
$P(0)->L(1)->\hat\theta(1)->P(1)->L(1)->\hat\theta(2)->.....$
其中P(0)一般取$10^6$数量级.

2.带遗忘因子最小二乘系统辨识

适用模型
受控自回归模型(ARX):$A(z)y(t)=B(z)u(t)+v(t)$
将上述模型写为辨识模型的形式:$Y=H\theta+W$.
算法如下:
$\hat\theta(t)=\hat\theta(t-1)+L(t)[y(t)-\varphi^T(t)\hat\theta(t-1)]$$L(t)=\frac{P(t-1)\varphi(t)}{\lambda+\varphi^T(t)P(t-1)\varphi(t)}$$P(t)=\frac{1}{\lambda}[I-L(t)\varphi^T(t)]P(t-1),P(0)=p_0I$
$\lambda$一般取0.9~1,当$\lambda$取1时即为标准最小二乘算法.

3.新息与残差之间的关系

新息:$e(t)=y(t)-\varphi^T(t)\hat\theta(t-1)$
残差:$\varepsilon(t)=y(t)-\varphi^T(t)\hat\theta(t)$
$e(t)=[1+\frac{1}{\lambda}\varphi^T(t)\hat\theta(t)]\varepsilon(t)$

4.有限数据窗最小二乘系统辨识

适用模型
受控自回归模型(ARX):$A(z)y(t)=B(z)u(t)+v(t)$
将上述模型写为辨识模型的形式:$Y=H\theta+W$.
算法如下:
$\hat\theta(t)=\hat\theta(t-1)+P(t)[\varphi(t),-\varphi(t-p)][y(t)-\varphi^T(t)\hat\theta(t-1),y(t-p)-\varphi^T(t-p)\hat\theta(t-1)]^T$$Q(t)=P(t-1)-\frac{P(t-1)\varphi(t)\varphi^T(t)P(t-1)}{1+\varphi^T(t)P(t-1)\varphi(t)}$$P(t)=Q(t)+\frac{Q(t)\varphi(t-p)\varphi^T(t-p)Q(t)}{1-\varphi^T(t-p)Q(t)\varphi(t-p)}$

5.带遗忘因子的有限数据窗最小二乘算法

适用模型
受控自回归模型(ARX):$A(z)y(t)=B(z)u(t)+v(t)$
将上述模型写为辨识模型的形式:$Y=H\theta+W$.
$\hat\theta(t)=\alpha(t-1)+P(t)\varphi(t)[y(t)-\varphi^T(t)\alpha(t-1)]$$P(t)=\frac{1}{\lambda}[P_{\alpha}(t-1)-\frac{P_{\alpha}(t-1)\varphi(t)\varphi^T(t)P_\alpha(t-1)}{\lambda+\varphi^T(t)P_{\alpha}(t-1)\varphi(t)}]$$\alpha(t-1)=\hat\theta(t-1)-\lambda^{p-1}P_{\alpha}(t-1)\varphi(t-p)[y(t)-\varphi^T(t-p)\hat\theta(t-1)]$$P_{\alpha}(t-1)=P(t-1)+\frac{P_{\alpha}(t-1)\varphi(t-p)\varphi^T(t-p)P_\alpha(t-1)}{\lambda^{-1}-\varphi^T(t-p)P_{\alpha}(t-1)\varphi(t-p)}$