希爾伯特-施密特獨立性準則(Hilbert-Schmidt Independence Criterion-HSIC)的理解

本章主要是對Gretton et al.文獻的一個理解,僅供大家參考!如有疑問可以下方討論留言。

希爾伯特-施密特獨立性準則(Hilbert-Schmidt Independence Criterion-HSIC)主要目的是衡量兩個變量的一個分佈差異,這一點類似於協方差(方差),而對於其本身也是依賴於協方差而構建。如下公式(1)所示

                                                        (1)

其中Z(v)和Z(w)分別表示兩個不同的視角數據集。每一個視角數據集都包含有n個樣本數據點,其中可定義爲

                                                          

其中表示Z(v)和Z(w)的概率分佈。範數||*||HS的定義如下:

其中F和G分別表示X和Y的再生核Hilbert空間。核函數的理解是比較抽象,也有點晦澀難懂(重點是在於核函數的選取),大家有興趣可以參考一篇博客https://blog.csdn.net/kateyabc/article/details/79980880,在這裏我們直接對其理解爲非線性數據的處理,使得儘可能的表現出潛在的語義空間信息,有利於傳統的方法對其進行研究。

敲黑板!!!重點來啦!

對於公式(1)中的Cz(v)z(w)則是變量Z(v)和Z(w)的協方差,具體的定義如公式(2)所示

                                           (2)

在公式(2)中uz(v)與uz(w)分別表示的期望,表示爲張量積,分別表示關於變量Z(v)和Z(w)在空間的(X,Y)中的核函數,在本文中的核函數定義爲

同理可得

其中<*,*>表示兩個變量的內積(內積與跡函數的關係將會在後面進行推導)。總結而言,最終我們可以得到關於HSIC的定義表達式爲(詳細推導過程可參考文獻Gretton et al., 2005):

在這裏Kv和Kw表示爲Gram矩陣。H(ij)=deta(ij)-1/n表示均值爲零的一個矩陣,deta


內積與跡函數的關係

                         <A,B>=<vec(A),Vec(B)>=sum(a(i)^H*b(i))=sum<a(i),b(i)>=Vec(A)^H*Vec(B)=Tr(A^H*B)

其中A=[a1,a2,...,an],Vec(A)=[a1;a2;...;an]表示張量。

參考文獻[Gretton et al., 2005] Arthur Gretton, Olivier Bousquet, Alex Smola,and Bernhard Scholkopf. Measuring statistical dependence with hilbert-schmidt norms. In ALT, volume 16, pages 63–78.Springer, 2005.

 

 

 

發佈了20 篇原創文章 · 獲贊 21 · 訪問量 5萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章