神经网络基础--指数加权移动平均ewma

因为神经网络中的常用优化算法都会涉及到指数加权移动平均(exponential weighted moving average, ewma;也可称为exponential moving average,ema),所以这里单独写下这个知识点。

ewma通过将历史的值和当前实际值进行加权求和来得到当前值的估计,常用于减小序列数据的噪声,其公式如下

\tilde{x}_t = \beta \tilde{x}_{t-1} + (1-\beta)x_t, \;\; 0 < \beta < 1,将该式进行递推展开得:

\tilde{x}_t = \beta (\beta \tilde{x}_{t-2} + (1-\beta)x_{t-1}) + (1-\beta)x_t \\ = \beta^2 \tilde{x}_{t-2} +(1-\beta) \beta {x}_{t-1} + (1-\beta)x_t \\ = \beta^3 \tilde{x}_{t-3} +(1-\beta) \beta^2 {x}_{t-2} +(1-\beta) \beta {x}_{t-1} + (1-\beta)x_t \\ =... \\ = \beta^t \tilde{x}_0 + (1-\beta) \beta^{t-1}{x}_{1} + ... + (1-\beta) \beta^{t-i} {x}_{i} + ... + (1-\beta)\beta^0 x_t

令初始估计值\tilde{x}_0 = 0,则\tilde{x}_t =(1-\beta)\sum_{i=1}^{t}{\beta^{t-i}x_i}

可以看到,历史值x_i随着时间距离t-i越大而被赋予越小的权重;具体来说,历史数据的影响(权重)是随时间距离变化而呈指数衰减的,也即越久远的数据对当前估计的影响越小,而这也很符合直觉;当\beta越大,对历史的遗忘越慢,估计值也越平滑;反之,对历史的遗忘越快,估计值也越贴近实际值。

另外可以看到,在数据估计的初期,由于没有足够的历史数据,估计值往往跟实际值偏差很大;如果对初期的估计值要求比较高的话,则需要对估计值进行偏差修正,

修正公式:\tilde{x}_t /=(1-\beta^t)

由于希望估计值的期望跟实际值的期望相当,根据ewma公式,可以得出估计值的期望

E[\tilde{x}_t] =E[(1-\beta)\sum_{i=1}^{t}{\beta^{t-i}x_i}] \\ = E[x_t](1-\beta)\sum_{i=1}^{t}{\beta^{t-i}} + \zeta \\ = E[x_t](1-\beta^t) + \zeta

当是x是平稳信号时,\zeta = 0;否则应该选择较小的\beta,来使\zeta接近0

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章