因为神经网络中的常用优化算法都会涉及到指数加权移动平均(exponential weighted moving average, ewma;也可称为exponential moving average,ema),所以这里单独写下这个知识点。
ewma通过将历史的值和当前实际值进行加权求和来得到当前值的估计,常用于减小序列数据的噪声,其公式如下
,将该式进行递推展开得:
令初始估计值,则
可以看到,历史值随着时间距离
越大而被赋予越小的权重;具体来说,历史数据的影响(权重)是随时间距离变化而呈指数衰减的,也即越久远的数据对当前估计的影响越小,而这也很符合直觉;当
越大,对历史的遗忘越慢,估计值也越平滑;反之,对历史的遗忘越快,估计值也越贴近实际值。
另外可以看到,在数据估计的初期,由于没有足够的历史数据,估计值往往跟实际值偏差很大;如果对初期的估计值要求比较高的话,则需要对估计值进行偏差修正,
修正公式:
由于希望估计值的期望跟实际值的期望相当,根据ewma公式,可以得出估计值的期望
当是x是平稳信号时,;否则应该选择较小的
,来使
接近0