主要的方法有属性(特征)选择，线性映射和非线性映射方法三大类。
一、属性(特征)选择
缺失值比率：如果数据集的缺失值太多，我们可以用这种方法减少变量数。
低方差滤波：这个方法可以从数据集中识别和删除常量变量，方差小的变量对目标变量影响不大，所以可以放心删去。
高相关滤波：具有高相关性的一对变量会增加数据集中的多重共线性，所以用这种方法删去其中一个是有必要的。
随机森林
反向特征消除
前向特征选择
二、线性映射
2.1PCA
主成分分析(PCA) 是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望在所投影的维度上数据的方差最大(选取特征值最高的k个特征向量来表示一个矩阵)，以此使用较少的数据维度，同时保留住较多的原数据点的特性。 是将原空间变换到特征向量空间内，数学表示为AX = γX。
另一种理解思路：求特征向量的关系，就是把矩阵A所代表的空间，进行正交分解，使得A的向量集合可以表示为每个向量a在各个特征向量上面的投影长度。例如A是mn的矩阵,n>m，那么特征向量就是m个(因为秩最大是m)，n个行向量在每个特征向量E上面有投影，其特征值v就是权重。那么每个行向量现在就可以写为Vn=(E1v1n,E2v2n…Emvmn)，矩阵变成了方阵。如果矩阵的秩更小，矩阵的存储还可以压缩。再: 由于这些投影的大小代表了A在特征空间各个分量的投影，那么我们可以使用最小2乘法，求出投影能量最大的那些分量，而把剩下的分量去掉，这样最大限度地保存了矩阵代表的信息，同时可以大大降低矩阵需要存储的维度，简称PCA方法。
几何层面理解pca
特征向量特征值几何意义
缺点：PCA有天生的缺点，就是线性矢量的相关性考察有"平移无关性"优点的同时，也完全忽略了，2维图形中，矢量分量之间的顺序是有意义的，顺序不同可以代表完全不同的信息。还有，就是图像B必须是A的某种伸缩(由特征向量空间决定的)，才能被很好的投影到A的特征向量空间里面，如果B包含了A中的某种旋转因素，那么PCA可以彻底失效。所以实际应用中PCA的方法做图像识别，识别率并不高，它要求图像有某种严格的方向对齐和归一化。所以PCA一般不用来做直接的特征提取而是用来做特征矩阵的降维。当然，降维的结果用于分类并不理想，我们可以进一步做最小二承法拉开类间距离的Fisher变换。但是Fisher变换会引入新的弱点，那就是对于训练类别的数据变得更敏感了，分类效果上升的代价是通用性下降，当类型数量急剧膨胀的时候，分类效果的函数仍然是直线下降的----但是还是比直接PCA的分类效果好得多。
1. PCA将所有的样本（特征向量集合）作为一个整体对待，去寻找一个均方误差最小意义下的最优线性映射投影，而忽略了类别属性，而它所忽略的投影方向有可能刚好包含了重要的可分性信息。
2. 在对x进行预处理时，第一步需要对其中心化。中心化后，如果数据的尺度不统一，还需要标准化。通常的标准化方式是除以标准差。这里可能就出出现一个问题，比如标准差很小，接近于零，尤其是被噪声污染的数据，噪声的标准差对数据的放大作用更显著，而没被噪声污染的数据其在标准化的过程中放大作用较小。所以在对数据完全无知的情况下，PCA变换并不能得到较好的保留数据信息。
3.变换矩阵是被限制为随轴心（维度）变化的，如变换矩阵W是各列之间归一化正交的，各行不是正交的。
4.对降维最终得到的数目，也就是潜在的隐变量的数目，不能很好的估计。对潜在的因变量不能很好的估计这一点，对PCA降维的结果将产生重大影响。
5.PCA原理主要是为了消除变量之间的相关性，并且假设这种相关性是线性的，对于非线性的依赖关系则不能得到很好的结果。
- PCA假设变量服从高斯分布，当变量不服从高斯分布（如均匀分布）时，会发生尺度缩放与旋转。
可见PCA变换并不是最有效的数据降维方法，根本原因就是它假设数据变量之间是线性相关的并且服从高斯分布，
2.2LDA
LDA是一种有监督的（supervised）线性降维算法。与PCA保持数据信息不同，核心思想：往线性判别超平面的法向量上投影，是的区分度最大（高内聚，低耦合）。LDA是为了使得降维后的数据点尽可能地容易被区分！
三、非线性映射
非线性映射方法的代表方法有：核方法（核+线性），二维化和张量化（二维+线性），流形学习（ISOMap，LLE，LPP）
3.1基于核的非线性降维
代表方法有：KPCA，KFDA。
KPCA的基本思想：通过Kernel trick将PCA投影的过程通过内积的形式表达出来。将高维向量ϕ(x)与对应特向β
3.2 流形学习
流形学习的主要算法有：ISOMap（等距映射）、LE（拉普拉斯特征映射）、LLE（局部线性嵌入）。
流形：直线或者曲线是一维流形，平面或者曲面是二维流形，更高维之后是多维流形。一个流形好比是 d
3.3
3.4