百面机器学习（3）——经典算法

SVM（SVM模型推导，和函数，SMO算法）

1. 在空间上线性可分的两类点，分别向svm分类的超平面上做投影，这些点在超平面上的投影仍然是线性可分的吗？（3）

线性可分的两类点，即通过一个超平面可以将两类点完全分开。对于任意线性可分的两组点，它们在 SVM 分类的超平面上的投影都是线性不可分的。

该问题也可以通过凸优化理论中的超平面分离定理( Separating Hyperplane Theorem, SHT）更加轻巧地解决。该定理描述的是，对于不相交的两个凸集，存在一个超平面，将两个凸集分离。对于二维的情况，两个凸集间距离最短两点连线的中垂线就是一个将它们分离的超平面。

借助这个定理，我们可以先对线性可分的这两组点求各自的凸包。不难发现，SVM 求得的超平面就是两个凸包上距离最短的两点连线的中垂线，也就是SHT 定理二维情况中所阐释的分类超平面。根据凸包的性质容易知道，凸包上的点要么是样本点，要么处于两个样本点的连线上。因此，两个凸包间距离最短的两个点可以分为三种情况：两边的点均为样本点(a)；两边的点均在样本点的连线上(b); 一边的点为样本点，另一边的点在样本点的连线上(c)。从几何上分析即可知道，无论哪种情况两类点的投影均是线性不可分的。

２. 是否存在一组参数使svm训练误差为0？（3）

一个使用高斯核（）训练的SVM 中，试证明若给定训练集中不存在两个点在同一位置，则存在一组参数｛α1，…，αm，b｝以及参数 y 使得该 SVM 的训练误差为 0。

３. 训练误差为0的SVM分类器一定存在吗？（４）

虽然在问题 2 中我们找到了一组参数｛α1，…，αm，b｝以及 y 使得 SVM 的训练误差为0，但这组参数不一定是满足 SVM 条件的一个解。在实际训练一个不加入松弛变量的 SVM 模型时，是否能保证得到的SVM 分类器满足训练误差为 0 呢？

问题 2 找到了一组参数使得 SVM 台类器的训练误差为 0 。本问旨在找到一组参数满足训练误差为 0，且是SVM 模型的一个解。

４.　加入松弛变量的SVM的训练误差可以为０吗？（３）

在实际应用中，如果使用SMO算法来训练一个加入松弛变量的线性SVM模型，并且惩罚因子 C为任一未知常数，我们是否能得到训练误差为 0 的模型呢？

使用 SMO 算法训练的线性分类器并不一定能得到训练误差为 0 的模型。这是由于我们的优化目标改变了，并不再是使训练误差最小。考虑带松弛变量的 SVM 模型优化的目标函数所包含的两项和，当我们的参数C选取较小的值时，后一项（正则项）将占据优化的较大比重。这样，一个带有训练误差，但是参数较小的点将成为更优的结果。一个简单的特例是，当 C取 0 时， w也取0即可达到优化目标，但是显然此时我们的训练误差不一定能达到 0。

逻辑回归（逻辑回归，线性回归，多标签分类，softmax）

１.　逻辑回归相比于线性回归，有何异同（２）

（逻辑回归处理分类问题，线性回归处理的是回归的问题；逻辑回归中因变量时离散的，线性回归的因变量时连续的）

（逻辑回归与线性回归都使用了极大似然估计来对训练样本进行建模；在求解超参数的过程中，都可以使用梯度下降的方法）

２.　当使用逻辑回归处理多标签的分类问题时，有哪些常见做法，分别应用于哪些场景，他们之间又有怎么样的关系？（3）

使用哪一种办法来处理多分类问题取决于具体问题的定义。

如果一个样本只对应于一个标签，我们可以假设每个样本属于不同标签的概率服从于几何分布，使用多项逻辑回归（ Softmax Regression ) 来进行分类。

当存在样本可能属于多个标签的情况时，我们可以训练 k个二分类的逻辑回归分类器。第i个分类器用以区分每个样本是否可以归为第i类，训练该分类器时，需要把标签重新整理为“第 i 类标签” 与“非第i类标签”两类。通过这样的办法，我们就解决了每个样本可能拥有多个标签的情况。

决策树（信息论，树形数据结构，优化理论）

决策树是一种自上而下，对样本数据进行树形分类的过程，由结点和有向边组成。结点分为内部结点和叶结点，其中每个内部结点表示一个特征或属性，叶结点表示类别。从顶部根结点开始，所有样本聚在一起。经过根结点的划分，样本被分到不同的子结点中。再根据子结点的特征进一步划分，直至所有样本都被归到某一个类别（即叶结点）中。

决策树的生成包含了特征选择、树的构造、树的剪枝三个过程

1. 决策树有哪些常用的启发函数（2）

ID3， ID， C4.5, CART

从若干不同的决策树中选取最优的决策树时一个NP完全问题，在实际中我们通常会采用启发式学习的方法去构建一颗满足条件的决策树。

NP完全问题，即：NP=P？

是否所有能在多项式时间内验证得出正确解的问题，都是具有多项式时间算法的问题呢？

2. 如何对决策树进行剪枝？（3）

预剪枝，后剪枝

预剪枝何时停止决策树的生长:

1）当树到达一定深度的时候，停止树的生长。

2）当到达当前结点的样本数量小于某个阈值的时候，停止树的生长。

3）计算每次分裂对测试集的准确度提升，当小于某个阈值的时候，不再继续扩展。