线性鉴别分析LDA

学习了LDA算法,做个总结,如果有错误,还望指教!

LDA的目标

应用统计方法解决模式识别问题时,一再碰到的问题之一是维数问题。[1]
LDA的目标即是通过投影从高维样本中抽取分类信息、降低维数,使投影后的样本有最大的类间距离和最小的类内距离。
将d维样本变换为1维样本所用的方法:
其中,w,x为n维列向量。如果||w||=1,则每个yn就是想对应的xn到方向为w的直线上的投影。[1]
假若现在有两类样本,维数为d,将这两类样本投影到一个特定的方向上,可以使这两类样本类内聚集,而类间分散,有利于分类。有n类样本时也是一样。因此,重要的选择w的方向。

推理过程

在推理之前,先定义几个参量:
一个样本集X=(x1,x2……xn)包含c个类别,xi(i=1,2,……,n)为d维列向量。
(1)ni(i=1,2……c):第i个类别的样本个数;
(2)ui(i=1,2……c):第i个类别的样本均值
3)u为所有的样本均值
4)
(5)

现在以两个类求投影矩阵w为例,接下来公式比较多,直接上word的截图:



当有c个类时,取前c-1大个特征之对应的特征向量组成投影矩阵。

实现


参考文献

[1]边肇祺. 模式识别[M] . 北京:清华大学出版社,1992:87-90



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章