线性判别分析（LDA）
LDA思想总结
线性判别分析（Linear Discriminant Analysis，LDA）是一种经典的降维方法。和主成分分析PCA不考虑样本类别输出的无监督降维技术不同，LDA是一种监督学习的降维技术，数据集的每个样本有类别输出。
LDA分类思想简单总结如下：
- 多维空间中，数据处理分类问题较为复杂，LDA算法将多维空间中的数据投影到一条直线上，将d维数据转化成1维数据进行处理。
- 对于训练数据，设法将多维数据投影到一条直线上，同类数据的投影点尽可能接近，异类数据点尽可能远离。
- 对数据进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定样本的类别。
如果用一句话概括LDA思想，即“投影后类内方差最小，类间方差最大”。
图解LDA核心思想
假设有红、蓝两类数据，这些数据特征均为二维，如下图所示。我们的目标是将这些数据投影到一维，让每一类相近的数据的投影点尽可能接近，不同类别数据尽可能远，即图中红色和蓝色数据中心之间的距离尽可能大。
左图和右图是两种不同的投影方式。
左图思路：让不同类别的平均点距离最远的投影方式。
右图思路：让同类别的数据挨得最近的投影方式。
从上图直观看出，右图红色数据和蓝色数据在各自的区域来说相对集中，根据数据分布直方图也可看出，所以右图的投影效果好于左图，左图中间直方图部分有明显交集。
以上例子是基于数据是二维的，分类后的投影是一条直线。如果原始数据是多维的，则投影后的分类面是一低维的超平面。
二类LDA算法原理
输入：数据集 ，其中样本
是n维向量，
，降维后的目标维度
。定义
为第
类样本个数；
为第
类样本的集合；
为第
类样本的均值向量；
为第
类样本的协方差矩阵。
其中
假设投影直线是向量 ，对任意样本
，它在直线
上的投影为
，两个类别的中心点
,
在直线
的投影分别为
、
。
LDA的目标是让两类别的数据中心间的距离 尽量大，与此同时，希望同类样本投影点的协方差
、
尽量小，最小化
。
定义
类内散度矩阵
类间散度矩阵
据上分析，优化目标为
根据广义瑞利商的性质，矩阵 的最大特征值为
的最大值，矩阵
的最大特征值对应的特征向量即为
。
LDA算法流程总结
LDA算法降维流程如下：
输入：数据集 ，其中样本
是n维向量，
，降维后的目标维度
。
输出：降维后的数据集 。
步骤：
- 计算类内散度矩阵
。
- 计算类间散度矩阵
。
- 计算矩阵
。
- 计算矩阵
的最大的 d 个特征值。
- 计算 d 个特征值对应的 d 个特征向量，记投影矩阵为 W 。
- 转化样本集的每个样本，得到新样本
。
- 输出新样本集
LDA和PCA区别
| 异同点 | LDA | PCA |
|---|---|---|
| 相同点 | 1. 两者均可以对数据进行降维；<br />2. 两者在降维时均使用了矩阵特征分解的思想；<br />3. 两者都假设数据符合高斯分布； | |
| 不同点 | 有监督的降维方法； | 无监督的降维方法； |
| 降维最多降到k-1维； | 降维多少没有限制； | |
| 可以用于降维，还可以用于分类； | 只用于降维； | |
| 选择分类性能最好的投影方向； | 选择样本点投影具有最大方差的方向； | |
| 更明确，更能反映样本间差异； | 目的较为模糊； |
LDA优缺点
| 优缺点 | 简要说明 |
|---|---|
| 优点 | 1. 可以使用类别的先验知识；<br />2. 以标签、类别衡量差异性的有监督降维方式，相对于PCA的模糊性，其目的更明确，更能反映样本间的差异； |
| 缺点 | 1. LDA不适合对非高斯分布样本进行降维；<br />2. LDA降维最多降到分类数k-1维；<br />3. LDA在样本分类信息依赖方差而不是均值时，降维效果不好；<br />4. LDA可能过度拟合数据。 |
主成分分析（PCA）
主成分分析（PCA）思想总结
- PCA就是将高维的数据通过线性变换投影到低维空间上去。
- 投影思想：找出最能够代表原始数据的投影方法。被PCA降掉的那些维度只能是那些噪声或是冗余的数据。
- 去冗余：去除可以被其他向量代表的线性相关向量，这部分信息量是多余的。
- 去噪声，去除较小特征值对应的特征向量，特征值的大小反映了变换后在特征向量方向上变换的幅度，幅度越大，说明这个方向上的元素差异也越大，要保留。
- 对角化矩阵，寻找极大线性无关组，保留较大的特征值，去除较小特征值，组成一个投影矩阵，对原始样本矩阵进行投影，得到降维后的新样本矩阵。
- 完成PCA的关键是——协方差矩阵。协方差矩阵，能同时表现不同维度间的相关性以及各个维度上的方差。协方差矩阵度量的是维度与维度之间的关系，而非样本与样本之间。
- 之所以对角化，因为对角化之后非对角上的元素都是0，达到去噪声的目的。对角化后的协方差矩阵，对角线上较小的新方差对应的就是那些该去掉的维度。所以我们只取那些含有较大能量(特征值)的维度，其余的就舍掉，即去冗余。
图解PCA核心思想
PCA可解决训练数据中存在数据特征过多或特征累赘的问题。核心思想是将m维特征映射到n维（n < m），这n维形成主元，是重构出来最能代表原始数据的正交特征。
假设数据集是m个n维，。如果
，需要降维到
，现在想找到某一维度方向代表这两个维度的数据。下图有
两个向量方向，但是哪个向量才是我们所想要的，可以更好代表原始数据集的呢？
从图可看出，比
好，为什么呢？有以下两个主要评价指标：
- 样本点到这个直线的距离足够近。
- 样本点在这个直线上的投影能尽可能的分开。
如果我们需要降维的目标维数是其他任意维，则：
- 样本点到这个超平面的距离足够近。
- 样本点在这个超平面上的投影能尽可能的分开。
PCA算法推理
下面以基于最小投影距离为评价指标推理：
假设数据集是m个n维，，且数据进行了中心化。经过投影变换得到新座标为
，其中
是标准正交基，即
，
。
经过降维后，新座标为 ，其中
是降维后的目标维数。样本点
在新座标系下的投影为
，其中
是
在低维座标系里第 j 维的座标。
如果用 去恢复
，则得到的恢复数据为
，其中
为标准正交基组成的矩阵。
考虑到整个样本集，样本点到这个超平面的距离足够近，目标变为最小化 。对此式进行推理，可得：
在推导过程中，分别用到了 ，矩阵转置公式
，
，
以及矩阵的迹，最后两步是将代数和转为矩阵形式。
由于 的每一个向量
是标准正交基，
是数据集的协方差矩阵，
是一个常量。最小化
又可等价于
利用拉格朗日函数可得到
对 求导，可得
，也即
。
是
个特征向量组成的矩阵，
为
的特征值。
即为我们想要的矩阵。
对于原始数据，只需要 ，就可把原始数据集降维到最小投影距离的
维数据集。
基于最大投影方差的推导，这里就不再赘述，有兴趣的同仁可自行查阅资料。
PCA算法流程总结
输入： 维样本集
，目标降维的维数
。
输出：降维后的新样本集 。
主要步骤如下：
- 对所有的样本进行中心化，
。
- 计算样本的协方差矩阵
。
- 对协方差矩阵
进行特征值分解。
- 取出最大的
个特征值对应的特征向量
。
- 标准化特征向量，得到特征向量矩阵
。
- 转化样本集中的每个样本
。
- 得到输出矩阵
。
注：在降维时，有时不明确目标维数，而是指定降维到的主成分比重阈值。假设
个特征值为
，则
可从
得到。
PCA算法主要优缺点
| 优缺点 | 简要说明 |
|---|---|
| 优点 | 1. 仅仅需要以方差衡量信息量，不受数据集以外的因素影响。 2.各主成分之间正交，可消除原始数据成分间的相互影响的因素。3. 计算方法简单，主要运算是特征值分解，易于实现。 |
| 缺点 | 1.主成分各个特征维度的含义具有一定的模糊性，不如原始样本特征的解释性强。2. 方差小的非主成分也可能含有对样本差异的重要信息，因降维丢弃可能对后续数据处理有影响。 |
降维的必要性及目的
降维的必要性：
- 多重共线性和预测变量之间相互关联。多重共线性会导致解空间的不稳定，从而可能导致结果的不连贯。
- 高维空间本身具有稀疏性。一维正态分布有68%的值落于正负标准差之间，而在十维空间上只有2%。
- 过多的变量，对查找规律造成冗余麻烦。
- 仅在变量层面上分析可能会忽略变量之间的潜在联系。例如几个预测变量可能落入仅反映数据某一方面特征的一个组内。
降维的目的：
- 减少预测变量的个数。
- 确保这些变量是相互独立的。
- 提供一个框架来解释结果。相关特征，特别是重要特征更能在数据中明确的显示出来；如果只有两维或者三维的话，更便于可视化展示。
- 数据在低维下更容易处理、更容易使用。
- 去除数据噪声。
- 降低算法运算开销。
KPCA与PCA的区别
应用PCA算法前提是假设存在一个线性超平面，进而投影。那如果数据不是线性的呢？该怎么办？这时候就需要KPCA，数据集从 维映射到线性可分的高维
，然后再从
维降维到一个低维度
。
KPCA用到了核函数思想，使用了核函数的主成分分析一般称为核主成分分析(Kernelized PCA, 简称KPCA）。
假设高维空间数据由 维空间的数据通过映射
产生。
维空间的特征分解为：
其映射为
通过在高维空间进行协方差矩阵的特征值分解，然后用和PCA一样的方法进行降维。由于KPCA需要核函数的运算，因此它的计算量要比PCA大很多。