快速計算數組中前n個數的均值和方差

一、問題背景

$\quad$給你一個數組$x=[1,2,3,6]$，如何快速計算其前綴數組$x[0\cdots n]$的均值和方差，即需要返回均值數組$m=[1,1.5,2,3]$，$m[2]=2$表示數組$x[0 \cdots 2]=[1,2,3]$的均值爲2；同時返回方差數組$S=[0, 0.25, \frac{2}{3}, 3.5]]$，$S[2]=2/3$表示數組$x[0 \cdots 2]=[1,2,3]$的方差爲$\frac{2}{3}$。
$\quad$對於這個問題，我們很容易找到$O(n^2)$級別的算法暴力計算，那有沒有$O(n)$級別的算法呢？
$\quad$我們嘗試思考這樣一個問題，假設我求解出了數組前$n-1$項的均值和方差，能否求出一個遞推式子直接算出前$n$項的均值和方差呢？

二、理論推導

$\quad$定義均值數組$m$和方差乘上當前長度$n$的數組$S$：$m_n = \frac{\sum_{i=1}^nx_i}{n}, S_n=\sum_{i=1}^n(x_i-m_n)^2$
首先容易得到均值的遞推式子：$m_n= \frac{\sum_{i=1}^nx_i}{n}= \frac{\sum_{i=1}^{n-1}x_i+x_n}{n}=\frac{n-1}{n}m_{n-1}+\frac{1}{n}x_n$
將上述式子代入可以得到$x_i-m_n=x_i-(\frac{n-1}{n}m_{n-1}+\frac{1}{n}x_n)=x_i-m_{n-1}-\frac{1}{n}(x_n-m_{n-1})$，當$i=n$時得到$x_n-m_n=\frac{n-1}{n}(x_n-m_{n-1})$
有了這些輔助，接下來我們嘗試推到$S$的遞推式：
$S_n=\sum_{i=1}^n(x_i-m_n)^2 \\ =\sum_{i=1}^{n-1}(x_i-m_n)^2+(x_n-m_n)^2 \\ =\sum_{i=1}^{n-1}(x_i-m_n)^2+(\frac{n-1}{n})^2(x_n-m_{n-1})^2 \\ =\sum_{i=1}^{n-1}[x_i-m_{n-1}-\frac{1}{n}(x_n-m_{n-1})]^2+(\frac{n-1}{n})^2(x_n-m_{n-1})^2 \\ =\sum_{i=1}^{n-1}(x_i-m_{n-1})^2+[\frac{n-1}{n^2}+\frac{(n-1)^2}{n^2}](x_n-m_{n-1})^2 \\ =S_{n-1}+\frac{n-1}{n}(x_n-m_{n-1})^2$

至此，我們得到了利用數組前$n-1$項的均值和方差推出前$n$項的均值和方差的遞推式子，如下：
$m_n = \frac{n-1}{n}m_{n-1}+\frac{1}{n}x_n \\ S_n=S_{n-1}+\frac{n-1}{n}(x_n-m_{n-1})^2$

三、程序

$\quad$這裏給出Python程序求解實例，給出數組$x$，返回其均值數組$m$和方差數組$S$。

def meanAndSquare(x):
    x = [0] + x
    m = [0 for _ in range(len(x))]  # 均值
    S = [0 for _ in range(len(x))]  # 方差乘上當前長度的值
    for i in range(1, len(x)):
        m[i] = ((i - 1) * m[i - 1] + x[i]) / i
        S[i] = S[i - 1] + (i - 1) / i * (x[i] - m[i - 1]) ** 2
    for i in range(1, len(S)):
        S[i] /= i  # 注意需要除上當前長度纔是方差
    m, S = m[1:], S[1:]
    return m, S

if __name__ == '__main__':
    x = [1, 2, 3, 6]
    print(meanAndSquare(x))