神经网络基础--指数加权移动平均ewma

因为神经网络中的常用优化算法都会涉及到指数加权移动平均（exponential weighted moving average， ewma；也可称为exponential moving average，ema），所以这里单独写下这个知识点。

ewma通过将历史的值和当前实际值进行加权求和来得到当前值的估计，常用于减小序列数据的噪声，其公式如下

，将该式进行递推展开得：

令初始估计值，则

可以看到，历史值随着时间距离越大而被赋予越小的权重；具体来说，历史数据的影响（权重）是随时间距离变化而呈指数衰减的，也即越久远的数据对当前估计的影响越小，而这也很符合直觉；当越大，对历史的遗忘越慢，估计值也越平滑；反之，对历史的遗忘越快，估计值也越贴近实际值。

另外可以看到，在数据估计的初期，由于没有足够的历史数据，估计值往往跟实际值偏差很大；如果对初期的估计值要求比较高的话，则需要对估计值进行偏差修正，

修正公式：

由于希望估计值的期望跟实际值的期望相当，根据ewma公式，可以得出估计值的期望

当是x是平稳信号时，；否则应该选择较小的，来使接近0