1、概率建模
概率建模（probabilistic modeling）是統計學原理在數據分析中的應用，是最早的機器學習形式之一。其中最有名的算法之一就是樸素貝葉斯算法。樸素貝葉斯是一類基於應用貝葉斯定理的機器學習分類器，他假設輸入數據的特徵都是獨立的。即“樸素的”假設。另一個密切相關的模型是logistic迴歸，它是一種分類算法而不是迴歸算法。
2、早期神經網絡
反向傳播算法——利用梯度下降優化來訓練一系列參數化運算鏈的方法；貝爾實驗室於1989年第一次成功實現了神經網絡的實踐應用，當時嚴樂春將卷積神經網絡的早期思想與反向傳播算法相結合，並將其應用於手寫數字分類問題，由此得到名爲LeNet的網絡。
3、核方法
核方法是一組分類算法，其中最有名的就是支持向量機（SVM，support vector machine）。SVM的目標是通過在屬於兩個不同類別的兩組數據點之間找到良好厥詞邊界來解決分類問題。
SVM尋找邊界分步驟：
- 將數據映射到一個高維表示，這時決策邊界可以用一個超平面來表示。
- 儘量讓超平面與每個類別最近的數據點之間的距離最大化，從而計算出良好決策邊界。即間隔最大化。
推動機器學習進步的三種力量：
- 硬件
- 數據集和基準
- 算法的改進