隨機逼近法，是一種應用廣泛的參數估計方法。它是在有隨機誤差干擾的情況下，用逐步逼近的方式估計某一特定值的數理統計方法。
尋找帶誤差的量測到的未知迴歸函數的零點或極值,是系統辨識，適應控制、模式識別、適 應濾波和神經元網絡等領域中都要遇到的問題。 隨機逼近提供瞭解決這一問題的遞推方法 。
當既不知道函數的表達式，又不能無誤差的測量到函數值時，如何求解函數的零點或者極值，就是隨機逼近要解決的問題。隨機逼近控制方法有RM法，KW法。其中，基於KW法上的變形情況有：有限微分隨機逼近算法(FDSA)、隨機方向的隨機逼近算法(RDSA)和同時擾動隨機逼近算法(SPSA)。
隨機逼近法就是利用變量
x1,x2… 及對應的隨機變量
y(x1),y(x2)…，通過迭代計算，逐步逼近方程式的解。常用的迭代算法爲Robbins-Monro
(RM)算法和Keifer-Wolfowitz(KW)算法。在隨機系統的估計、預報、控制和優化中，常常使用隨機逼近算法。
設未知函數爲h(x),它的零點爲x0,h(x0)=0……(1),對
h (.) 可以在任一點x進行測量，但測量帶有誤差，若xn爲第n次測量時所取定的自變量的值，則函數的觀測值爲：y(n+1)=h(xn)+ζ(n+1)……(2),其中{ζn}
是測量誤差序列，可以依賴於xn，h(.)稱爲迴歸函數。用實際得到的序列
{xn}
和 {yn},去求迴歸函數的根x0,這就是隨機逼近問題。