1. Residual Distribution
- 通常，我们使用Generalized Gauss-Markov假设。假设输出变量的残差都是zero-mean，服从高斯分布，同时他们之间的关系使用covariance matrix表示（对角线是变量的variance，非对角线则表示了不同变量之间的纠缠关系）。
- 但是明显的是，这样的假设并不一定是正确的。我们面临的可能是非高斯的分布。
在下面我们会看到：
- 对高斯误差的优化，其实是最小二乘优化。
- 对非高斯误差的优化，也可以使用最小二乘获得很好的近似。
2. 高斯误差的优化
todo
3. 凸优化中的凸包定理
todo
4. L2范数
- LJ“椭圆”是所有凸集的scale为n下的近似。
- L2是其他所有模在sqrt（n）下的近似。
总得来说：
- 如果我们假设高斯噪音，那么最小二乘是最合适的范数选择。
- 但是哪怕假设不成立，无论实际是什么样的误差，应该选取什么样的范数。最小二乘都可以取得一个很好的近似。
也就是说，当然高斯假设下用最小二乘是最好的。但是无论你是什么噪音模型，使用最小二乘都可以得到很好的结果！