多元數據的線性表示

獨立成分分析（Independent Component Analysis）是從多元（多維）統計數據中尋找其內在因子或成分的一種方法，與其他方法的區別在於它尋找的是既統計獨立又非高斯的成分。

假設數據由已經得到其觀測的一組變量構成。記變量數目爲m，觀測數目爲T，這樣可以將數據記爲xi（t），維數m和T可能非常大。

該問題的一種非常通用的表述如下：從m維空間到n維空間的什麼函數可以使變換後的變量能夠凸顯原本隱藏在大量數據集中的信息？（也就是說，變換後的變量應該是內在因子或成分，描述了數據的本質結構。）

大多數情況下只考慮線性函數，這樣可以使表示的解釋和計算更加簡單，每個成分可以表示爲觀測變量的一個線性組合：

式中，是定義上述表述的某個係數，這樣，原來的問題就轉換爲確定係數的問題。

可以將上述線性變換表示爲矩陣乘法，將係數納入矩陣W 中，則該方程變爲：

選擇矩陣W的原則：

選擇矩陣W的一條原則是：將成分的數目限制爲非常小（可能僅爲1或2），並且其中包含數據儘可能多的信息。可以通過主成分分析或因子分析的技術實現。

確定矩陣W的另一條指導性原則：成分之間是統計獨立的。這意味着任何一個成分的取值不能給出其他成分的任何信息。

上述內容是ICA研究的出發點，我們希望，在數據是非高斯的情況下能把統計獨立的成分找出來。