学习了LDA算法,做个总结,如果有错误,还望指教!
线性鉴别分析LDA
应用统计方法解决模式识别问题时,一再碰到的问题之一是维数问题。[1]
LDA的目标即是通过投影从高维样本中抽取分类信息、降低维数,使投影后的样本有最大的类间距离和最小的类内距离。
将d维样本变换为1维样本所用的方法:
其中,w,x为n维列向量。如果||w||=1,则每个yn就是想对应的xn到方向为w的直线上的投影。[1]
假若现在有两类样本,维数为d,将这两类样本投影到一个特定的方向上,可以使这两类样本类内聚集,而类间分散,有利于分类。有n类样本时也是一样。因此,重要的选择w的方向。
在推理之前,先定义几个参量:
一个样本集X=(x1,x2……xn)包含c个类别,xi(i=1,2,……,n)为d维列向量。
(1)ni(i=1,2……c):第i个类别的样本个数;
(2)ui(i=1,2……c):第i个类别的样本均值
(3)u为所有的样本均值
(4)
(5)
现在以两个类求投影矩阵w为例,接下来公式比较多,直接上word的截图:
当有c个类时,取前c-1大个特征之对应的特征向量组成投影矩阵。
[1]边肇祺. 模式识别[M] . 北京:清华大学出版社,1992:87-90
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.