如有不當之處歡迎批評指正
注：粗體表示向量，T 表示向量轉置
1 引言
LMS(Least mean square)算法，即最小均方誤差算法。由美國斯坦福大學的B Widrow和M E Hoff於1960年在研究自適應理論時提出，由於其容易實現而很快得到了廣泛應用，成爲自適應濾波的標準算法。
2 基本概念
2.1 橫向濾波器
見之前的文章橫向濾波器。
2.2 誤差性能曲面
在濾波器優化設計中，採用某種最小代價函數或者某個性能指標來衡量濾波器的好壞，而最常用的指標就是均方誤差，也把這種衡量濾波器好壞的方法叫做均方誤差準則。用公式表示如下：
E{e2(n)}=E{[d(n)−y(n)]2}
其中，
E{e2(n)} 就是均方誤差，
d(n) 表示濾波器輸入
x(n) 時所期望得到的響應或者輸出，
y(n) 表示輸入
x(n) 經過濾波器後實際得到的濾波器的輸出，
e(n) 表示輸入
x(n) 時，濾波器的期望響應和實際輸出之間的誤差。
將
y(n) 表示成抽頭權值輸入向量
x(n) 和抽頭權值向量
h(n) 內積的形式，然後代入上式中，可知上式是以
h(n) 爲多維自變量的函數，由於自變量是多維的，所以該函數對應圖形是一個超拋物面(可以想象成碗的樣子)且是衡正的，該超拋物面就是誤差性能曲面。超拋物面有一個總體的最小值，該最小值就是最小均方誤差。如前面所述，均方誤差是衡量濾波器好壞的一個常用指標。當均方誤差達到最小值時，該濾波器性能達到最優，即誤差性能曲面上取值爲最小的點對應的座標就是最優濾波器係數向量(即最期望的濾波器抽頭權值向量)。
2.2 最陡下降法
由前面所述可知，爲了使在均方誤差準則設計下的濾波器性能達到最優，需要找到誤差性能曲面上的最小值，由即可得到最優濾波器係數。
在誤差性能曲面上尋找的一個非常自然的方法就是沿着曲面的切線方向，也即負梯度方向進行尋找，而這個尋找過程是一個迭代的過程。設第
n 次迭代得到的濾波器抽頭權值向量爲
h(n) ,並設該次迭代得到的均方誤差是
ε(n) ,那麼第
n+1 次迭代得到的濾波器係數可由下式求出：
h(n+1)=h(n)−12g(n)μ(n)
其中
g(n) 是該次迭代時的梯度向量,
−g(n) 就是該次迭代的方向向量，
μ(n) 是第
n 次迭代時所用的步長，又稱作收斂因子。
g(n)=∂ε(n)∂h(n)=∂E{e2(n)}∂h(n)
上述選擇誤差性能曲面上負的梯度向量作爲搜索時的方向向量的方法稱爲“最陡下降法”。
3 LMS算法
3.1 推導
在利用上述的最陡下降法計算
g(n) 時需要知道一些先驗知識，而這在實際工作中是無法實現的，因此必須得到
g(n) 的估計值
gˆ(n) 。
B Widrow和M E Hoff提出的思路是利用瞬時誤差能量
e2(n) 來代替均方誤差能量
E{e2(n)} 。可知：
gˆ(n)=∂e2(n)∂h(n)=−2e(n)x(n)
進一步令
μ(n) 爲常數
μ ,則可得到新的迭代公式：
h(n+1)=h(n)+μe(n)x(n)
上式即爲LMS算法，又稱隨機梯度法。爲了使LMS算法收斂，經過推導
μ 的取值範圍應該是：
0<μ<2/MPx
其中
M 爲濾波器的長度，
Px 爲輸入信號的功率。
參考文獻
[1] 《數字信號處理理論,算法與實現》第三版 作者：胡廣書
