本章主要是對Gretton et al.文獻的一個理解,僅供大家參考!如有疑問可以下方討論留言。
希爾伯特-施密特獨立性準則(Hilbert-Schmidt Independence Criterion-HSIC)主要目的是衡量兩個變量的一個分佈差異,這一點類似於協方差(方差),而對於其本身也是依賴於協方差而構建。如下公式(1)所示
(1)
其中Z(v)和Z(w)分別表示兩個不同的視角數據集。每一個視角數據集都包含有n個樣本數據點,其中可定義爲
其中表示Z(v)和Z(w)的概率分佈。範數||*||HS的定義如下:
其中F和G分別表示X和Y的再生核Hilbert空間。核函數的理解是比較抽象,也有點晦澀難懂(重點是在於核函數的選取),大家有興趣可以參考一篇博客https://blog.csdn.net/kateyabc/article/details/79980880,在這裏我們直接對其理解爲非線性數據的處理,使得儘可能的表現出潛在的語義空間信息,有利於傳統的方法對其進行研究。
敲黑板!!!重點來啦!
對於公式(1)中的Cz(v)z(w)則是變量Z(v)和Z(w)的協方差,具體的定義如公式(2)所示
(2)
在公式(2)中uz(v)與uz(w)分別表示的期望,表示爲張量積,分別表示關於變量Z(v)和Z(w)在空間的(X,Y)中的核函數,在本文中的核函數定義爲
同理可得
其中<*,*>表示兩個變量的內積(內積與跡函數的關係將會在後面進行推導)。總結而言,最終我們可以得到關於HSIC的定義表達式爲(詳細推導過程可參考文獻Gretton et al., 2005):
在這裏Kv和Kw表示爲Gram矩陣。H(ij)=deta(ij)-1/n表示均值爲零的一個矩陣,deta
內積與跡函數的關係
<A,B>=<vec(A),Vec(B)>=sum(a(i)^H*b(i))=sum<a(i),b(i)>=Vec(A)^H*Vec(B)=Tr(A^H*B)
其中A=[a1,a2,...,an],Vec(A)=[a1;a2;...;an]表示張量。
參考文獻[Gretton et al., 2005] Arthur Gretton, Olivier Bousquet, Alex Smola,and Bernhard Scholkopf. Measuring statistical dependence with hilbert-schmidt norms. In ALT, volume 16, pages 63–78.Springer, 2005.