FDA降維

FDA是一個傳統的有用的線性有監督的降維方法,FDA通過最大化類間距離,最小化類內距離的方法降維,但是對於呈現多峯的樣本數據的降維效果並不好。爲了對多峯數據降維,首要的是要保持數據的局部結構。LPP通過保持數據的局部結構獲得很好的降維效果,但他只能用於無監督的情況,不能將樣本的標籤信息考慮在內。
由於類間散佈矩陣不是滿秩的,所以FDA只能將數據映射到維數小於類個數的低維空間,這是FDA的侷限。
FDA
xiRd(i=1,2,...,n) ,是d維空間中的樣本,yi{1,2,...,c} 是相關的標籤集,ziRr(r<d)xi 在低維空間的表示,T 表示從XZ 的線性變換,Zi=TTxi ,n 是樣本個數,c 是類別個數,nl 是屬於類別c 的樣本個數。cl=1nl=n .
每類的均值:ul=1nli:yi=lxi
總的均值:u=1nni=1xi=1ncl=1nlul
類內離散度矩陣:S(w)=cl=1i:yi=l(xiul)(xiul)Td×d 矩陣。
類間離散度矩陣:S(b)=cl=1nl(ulu)(ulu)Td×d 矩陣。
目標函數T=argminTRd×rtr(TTS(w)T)tr(TTS(b)T) ,s.t. TTS(w)T=Ir
最優解爲S(b)φ=λS(w)φ 的最大的d 個特徵值所對應的特徵向量,設S(w) 可逆,則最優解即爲S(w)1S(b) 的最大的d 個特徵值所對應的特徵向量.
定義W(w)i,j={1nl0if yi=yj=lif yiyj
S(w)=12ni=1nj=1W(w)i,j(xixj)(xixj)T
定義W(b)i,j={1n1nl1nif yi=yj=lif yiyj
S(b)=12ni=1nj=1W(b)i,j(xixj)(xixj)T

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章