最小二乘法
當做函數擬合時，比如給定一系列觀測值Xi和f(Xi)，求函數 f(x)=ax+b 的參數a,b。
總誤差平方：
對a,b求導，求解下式可得到總誤差 
的最值。
代入Xi, f(Xi)的值，解上述線性方程組，可以得到參數a,b的值。
參考：如何理解最小二乘法？
最大似然估計
最大似然估計的目的就是：利用已知的樣本結果，反推最有可能（最大概率）導致這樣結果的參數值。
輸入含兩個： x表示某一個具體的數據；θ 表示模型的參數
如果θ是已知的，x是變量，這個函數叫做概率函數（probability function)，它描述了對於不同的樣本點x，其出現的概率是是多少
如果x是已知的，θ 是變量，這個函數叫做似然函數（likelihood function），它描述對於不同的模型參數，出現x這個樣本點的概率是多少。
最大似然估計就是在模型參數可變的情況下，找到使出現樣本點x的概率最大的模型參數值。
求解最大似然函數的一般步驟：
（1）寫出似然函數；
（2）對似然函數取對數，並整理；
（3）求導數，令導數爲0，得到似然方程；
（4）解似然方程，得到的參數即爲所求；
參考：一文搞懂極大似然估計
EM算法
EM算法是一種迭代算法，主要用於計算後驗分佈的衆數或極大似然估計，廣泛地應用於缺損數據、截尾數據、成羣數據、帶有討厭參數的數據等所謂不完全數據的統計推斷問題。
優點：EM算法簡單且穩定，迭代能保證觀察數據對數後驗似然是單調不減的。
缺點：對於大規模數據和多維高斯分佈，其總的迭代過程，計算量大，迭代速度易受影響；EM算法的收斂速度，非常依賴初始值的設置，設置不當，計算時的代價是相當大的；EM算法中的M-Step依然是採用求導函數的方法,所以它找到的是極值點,即局部最優解,而不一定是全局最優解。
參考：EM算法 實例講解，如何感性地理解EM算法？，EM算法（Expectation Maximization Algorithm）
凸優化問題
任意取集合中的兩個點並連線，如果連線段被完全包含在此集合中，那麼這個集合就是凸集。
凸優化問題有一個很重要的定理：任何局部最優解即爲全局最優解。相比非凸優化問題，凸優化問題求解較爲簡單。但是現實生活中幾乎所有問題的本質都是非凸的。爲什麼凸優化這麼重要呢？科學的本質是由簡到難，先把簡單問題研究透徹，然後把複雜問題簡化爲求解一個個簡單的問題。
凸優化：凸優化是指一種比較特殊的優化，是指求取最小值的目標函數爲凸函數的一類優化問題。其中，目標函數爲凸函數且定義域爲凸集的優化問題稱爲無約束凸優化問題。而目標函數和不等式約束函數均爲凸函數，等式約束函數爲仿射函數，並且定義域爲凸集的優化問題爲約束優化問題。
凸優化性質：
- 目的是求取目標函數的最小（優）值；
- 目標函數和不等式約束函數都是凸函數，定義域是凸集；
- 若存在等式約束函數，則等式約束函數爲仿射函數；
- 對於凸優化問題具有良好的性質，局部最優解便是全局最優解。
一個凸優化問題用公式描述爲如下，其目標函數f(x)以及不等式約束條件g(x)便是凸函數，而等式約束條件h(x)是仿射函數