FDA是一個傳統的有用的線性有監督的降維方法,FDA通過最大化類間距離,最小化類內距離的方法降維,但是對於呈現多峯的樣本數據的降維效果並不好。爲了對多峯數據降維,首要的是要保持數據的局部結構。LPP通過保持數據的局部結構獲得很好的降維效果,但他只能用於無監督的情況,不能將樣本的標籤信息考慮在內。
由於類間散佈矩陣不是滿秩的,所以FDA只能將數據映射到維數小於類個數的低維空間,這是FDA的侷限。
FDA
設xi∈Rd(i=1,2,...,n) ,是d維空間中的樣本,yi∈{1,2,...,c} 是相關的標籤集,zi∈Rr(r<d) 是xi 在低維空間的表示,T 表示從X 到Z 的線性變換,Zi=TTxi ,n 是樣本個數,c 是類別個數,nl 是屬於類別c 的樣本個數。∑cl=1nl=n .
每類的均值:ul=1nl∑i:yi=lxi
總的均值:u=1n∑ni=1xi=1n∑cl=1nlul
類內離散度矩陣:S(w)=∑cl=1∑i:yi=l(xi−ul)(xi−ul)T ,d×d 矩陣。
類間離散度矩陣:S(b)=∑cl=1nl(ul−u)(ul−u)T ,d×d 矩陣。
目標函數T=argminT∈Rd×rtr(TTS(w)T)tr(TTS(b)T) ,s.t. TTS(w)T=Ir
最優解爲S(b)φ=λS(w)φ 的最大的d 個特徵值所對應的特徵向量,設S(w) 可逆,則最優解即爲S(w)−1S(b) 的最大的d 個特徵值所對應的特徵向量.
定義W(w)i,j={1nl0if yi=yj=lif yi≠yj
S(w)=12∑ni=1∑nj=1W(w)i,j(xi−xj)(xi−xj)T
定義W(b)i,j={1n−1nl1nif yi=yj=lif yi≠yj
S(b)=12∑ni=1∑nj=1W(b)i,j(xi−xj)(xi−xj)T