均值
均值（mean value）是针对既有的数值全部加起来,做平均值（除以总个数）,就叫做均值.其条件是一直样本所有的数据和总数，表示样本总体的平均取值.
X−=∑i=1,nXi
期望
数学期望(mean)（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和,反映随机变量平均取值的大小。其条件是样本不可能所有值都得到，但是可以知道样本的取值以及取该值在样本总体下的概率，得出的是样本的加权平均，权重就是样本取值的概率。
EX=∑i=1,nPiXi
在样本值足够大的情况下，均值趋向于期望
方差
方差（variance)是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。
* 概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。
* 统计中的方差（样本方差）是各个数据分别与其平均数之差的平方的和的平均数。
之所以除以n-1而不是除以n，是因为这样能使我们以较小的样本集更好的逼近总体的标准差，即统计上所谓的“无偏估计”。而方差则仅仅是标准差的平方。
EX=1n−1∑i=1,n(Xi−X−)2
协方差
协方差是用来度量两个随机变量关系的统计量，如果结果为正值，则说明两者是正相关的，如果结果为负值，就说明两者是负相关，如果为0，则两者之间没有关系，就是统计上说的“相互独立”。相比于标准差和方差（用来描述一维数据的），可以用来描述二维数据的相关性。
cov(X,Y)=∑i=1,n(Xi−X−)(Yi−Y−)n−1
协方差矩阵
在统计学与概率论中，协方差矩阵的每个元素是各个向量元素之间的协方差。是从标量随机变量到高维度随机向量的自然推广。协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间的。
⎛⎝⎜⎜⎜⎜cov(x1,y1）cov(x2,y1）...cov(xn,y1）cov(x1,y2)cov(x2,y2)...cov(xn,y2)............cov(x1,yn)cov(x2,yn)...cov(xn,yn)⎞⎠⎟⎟⎟⎟
可见，协方差矩阵是一个对称的矩阵，而且对角线是各个维度上的方差。
协方差矩阵的航和列相等并取决于样本的维度，大小为维度数量，详细解释件参考 2.