遞歸最小二乘(RLS)算法詳解

本文首發在我的個人博客：宅到沒朋友，歡迎大家來玩！

1.最小二乘算法簡介

最小二乘算法基於確定性思想，該算法討論怎樣根據有限個觀測數據來尋找濾波器的最優解，即求如下圖這樣具有M個抽頭的橫向濾波器的最優權向量。

最小二乘算法的目的就是通過最小化誤差向量$\vec{e}$的模的平方和，即最小化$J = \| \vec{e} \| ^{2}$，來求解得到最優權向量：

$\vec{w}=[w_{0} \quad w_{1} \cdots w_{M-1}]$

由於：

$\vec{e}=[e(M) \quad e(M+1) \cdots e(N)]^{H}=\vec{b}-\vec{\hat{b}}=\vec{b}-A \vec{w}$

其中：

• 濾波器階數：$M$
• 樣本點數：$N$
• 誤差向量：$\vec{e}=[e(M) \quad e(M+1) \cdots e(N)]$
• 期望向量：$\vec{b}=[d(M) \quad d(M+1) \cdots d(N)]$
• 數據矩陣：$A^{H}=[\vec{u}(M) \quad \vec{u}(M+1) \cdots \vec{u}(N)]= \begin{bmatrix} u(M) & u(M+1) & \cdots & u(N) \\ u(M-1) & u(M) & \cdots & u(N-1) \\ \vdots & \vdots & \ddots & \vdots \\ u(1) & u(2) & \cdots & u(N-M+1) \\ \end{bmatrix}$

由此可以得到：

$J = \| \vec{e} \| ^{2}=\vec{e}^{H} \vec{e}=(\vec{b}-A \vec{w})^{H}(\vec{b}-A \vec{w})$

化簡得：
$J = \vec{b}^{H} \vec{b}-\vec{b}^{H} A \vec{w}-\vec{w}^{H} A^{H} \vec{b}+\vec{w}^{H} A^{H} A \vec{w}$

要求$J$的最小值，首先要得到$J$關於$\vec{w}$的梯度：

$\bigtriangledown J=-2A^{H}\vec{b}+2A^{H}A\vec{w}$

再令$\bigtriangledown J=0$得：

$A^{H}A \vec{\hat{w}} =A^{H}\vec{b}\quad (1)$

上式被稱爲確定性正則方程。

當$M<N-M+1$時，若方陣$A^{H}A$是非奇異（可逆）的，則可以得到確定性正則方程的解：

$\vec{\hat{w}}=(A^{H}A)^{-1}A^{H}\vec{b}\quad (2)$

上式也被稱爲最小二乘$(LS)$解。

估計向量$\vec{\hat{b}}=A \vec{w}$被稱爲對期望響應向量$\vec{b}$的最小二乘估計，簡稱$LS$估計。

2.遞歸最小二乘$(RLS)$算法

在(2)式中，涉及矩陣$A^{H}A$的求逆運算，運算量較大，遞歸最小二乘$(RLS)$算法就是用迭代算法代替矩陣求逆達到降低運算量的目的。

將數據矩陣$A^{H}$做如下擴展：

$A^{H}= \begin{bmatrix} u(1) & u(2) & \cdots & u(M) & \cdots & u(N) \\ 0 & u(1) & \cdots & u(M-1) & \cdots & u(N-1) \\ \vdots & \vdots & \ddots & \vdots & \ddots & \vdots\\ 0 & 0 & \cdots & u(1) & \cdots &u(N-M+1) \\ \end{bmatrix}$

將期望向量$\vec b$做如下擴展：
$\vec{b}=[d(1) \quad d(2) \cdots d(M) \cdots d(N)]$

定義輸入數據數據的時間相關矩陣：
$\Phi(N)=A^{H}A=\sum_{i=1}^{N}\vec{u}(i)\vec{u}^{H}(i)$

定義時間互相關向量爲
$\vec{z}(N)=A^{H}\vec{b}=\sum_{i=1}^{N}\vec{u}(i)d^{*}(i)$

於是，如式(1)所示的確定性正則方程變成下式：
$\Phi(N)\vec{\hat{w}}=\vec{z}(N)\quad(3)$

(3)式就是N時刻的確定性正則方程。

將N時刻變爲任意時刻n，並引入遺忘因子$\lambda(0<\lambda \leq1)$，則$\Phi$、$z$和(3)式變成如下所示：
$\Phi(n)=\sum_{i=1}^{n}\lambda^{n-i}\vec{u}(i)\vec{u}^{H}(i)+\delta \lambda ^{n}I$

$z(n)=\sum_{i=1}^{n}\lambda^{n-i}\vec{u}(i)d^{*}(i)$

$\Phi(n)\vec{\hat{w}}=\vec{z}(n)$

注：$\Phi(n)$中引入$\delta \lambda ^{n}I$是爲了使$\Phi(n)$可逆。

令$P(n)=\Phi^{-1}(n)$，接下來需要的事情就是求出$\vec{\hat{w}}$的迭代公式，推導過程較爲繁瑣，在此不再展開，直接給出最後的迭代公式。
$\vec{\hat{w}}(n)=\vec{\hat{w}}(n-1)+\vec{k}(n) \xi ^{*}(n)$
其中：
$\vec{k}(n)=\frac{\lambda ^{-1}P(n-1)\vec{u}(n)}{1+\lambda ^{-1}\vec{u}^{H}(n)P(n-1)\vec{u}(n)}$
$\xi(n)=d(n)-\vec{\hat{w}}(n-1)\vec{u}(n)$
$P(n)=\lambda ^{-1}P(n-1)-\lambda ^{-1}\vec{k}(n)\vec{u}^{H}(n)P(n-1)$
可以看到$\vec{\hat{w}}(n)$迭代式中的變量$P(n)、\vec{k}(n))、\xi(n)$都是可以迭代求解的。

2.1 $(RLS)$算法步驟

1. 初始化：
$P(0) = \delta I \quad， \delta 是小正數$

$\vec{\hat{w}}(0)=\vec{0}$

$\lambda取接近於1$

2. $n=1,2,\cdots,N$時，做如下迭代運算：
$\vec{k}(n)=\frac{\lambda ^{-1}P(n-1)\vec{u}(n)}{1+\lambda ^{-1}\vec{u}^{H}(n)P(n-1)\vec{u}(n)}$

$\xi(n)=d(n)-\vec{\hat{w}}(n-1)\vec{u}(n)$

$\vec{\hat{w}}(n)=\vec{\hat{w}}(n-1)+\vec{k}(n) \xi ^{*}(n)$

$P(n)=\lambda ^{-1}P(n-1)-\lambda ^{-1}\vec{k}(n)\vec{u}^{H}(n)P(n-1)$

3. 令$n=n+1$，重複步驟2。

2.2 算例

考慮一階$AR$模型$u(n)=-0.99u(n-1)+v(n)$的線性預測。假設白噪聲$v(n)$的方差爲$\sigma_{v}^{2}=0.995$，使用抽頭數爲$M=2$的$FIR$濾波器，用$RLS$算法實現$u(n)$的線性預測，選擇遺忘因子$\lambda = 0.98$。

2.3 $Matlab$仿真結果

可以看到$RLS$算法收斂的速度很快，收斂特性相當好。

2.4 $Matlab$源碼下載

點此下載源碼！

歡迎搜索並關注微信公衆號“工科南”。