神經網絡基礎--指數加權移動平均ewma

因爲神經網絡中的常用優化算法都會涉及到指數加權移動平均（exponential weighted moving average， ewma；也可稱爲exponential moving average，ema），所以這裏單獨寫下這個知識點。

ewma通過將歷史的值和當前實際值進行加權求和來得到當前值的估計，常用於減小序列數據的噪聲，其公式如下

，將該式進行遞推展開得：

令初始估計值，則

可以看到，歷史值隨着時間距離越大而被賦予越小的權重；具體來說，歷史數據的影響（權重）是隨時間距離變化而呈指數衰減的，也即越久遠的數據對當前估計的影響越小，而這也很符合直覺；當越大，對歷史的遺忘越慢，估計值也越平滑；反之，對歷史的遺忘越快，估計值也越貼近實際值。

另外可以看到，在數據估計的初期，由於沒有足夠的歷史數據，估計值往往跟實際值偏差很大；如果對初期的估計值要求比較高的話，則需要對估計值進行偏差修正，

修正公式：

由於希望估計值的期望跟實際值的期望相當，根據ewma公式，可以得出估計值的期望

當是x是平穩信號時，；否則應該選擇較小的，來使接近0