1、概率建模
概率建模（probabilistic modeling）是统计学原理在数据分析中的应用，是最早的机器学习形式之一。其中最有名的算法之一就是朴素贝叶斯算法。朴素贝叶斯是一类基于应用贝叶斯定理的机器学习分类器，他假设输入数据的特征都是独立的。即“朴素的”假设。另一个密切相关的模型是logistic回归，它是一种分类算法而不是回归算法。
2、早期神经网络
反向传播算法——利用梯度下降优化来训练一系列参数化运算链的方法；贝尔实验室于1989年第一次成功实现了神经网络的实践应用，当时严乐春将卷积神经网络的早期思想与反向传播算法相结合，并将其应用于手写数字分类问题，由此得到名为LeNet的网络。
3、核方法
核方法是一组分类算法，其中最有名的就是支持向量机（SVM，support vector machine）。SVM的目标是通过在属于两个不同类别的两组数据点之间找到良好厥词边界来解决分类问题。
SVM寻找边界分步骤：
- 将数据映射到一个高维表示，这时决策边界可以用一个超平面来表示。
- 尽量让超平面与每个类别最近的数据点之间的距离最大化，从而计算出良好决策边界。即间隔最大化。
推动机器学习进步的三种力量：
- 硬件
- 数据集和基准
- 算法的改进