最近閱讀了一篇無覓網上的文章，題目叫"Neural network ,manifolds ,topology"，作者嘗試從流形的角度解釋deep neural network。Blog的鏈接爲：http://colah.github.io/posts/2014-03-NN-Manifolds-Topology/
在裏面作者針對每一層的feedforward projection W，進行了討論。其中一點就是W的行列式。作者認爲W的行列式如果爲0，將會dataset gets collapsed on some axis。我一直不是十分理解這句話，於是就做了一個最簡單的實驗：
假設有3個兩維的數據點data=[5 6 1 ;2 3 1]，然後線性變化矩陣分別是A=[ 1 2; 2 4];B= [1 7 ; 0 2]，|A|=0,|B|=2.
我們有C1=A*data ; C2 = B*data;
得到的效果如下所示，菱形點表示的是data中的三個數，星形點表示的C1中的數據點，十字星點表示的是C2中的數據點：
爲了更加清楚的表示他們的關係，我將各個點各自連接起來：
我們發現，由於矩陣A是低秩的，其行列式爲0，那麼它將輸入數據（紅色的菱形塊）之間的三角形關係全部映射到了本身的座標軸y=2x上去了（藍色星形上的直線）（實現了降維）.而B矩陣由於其行列式不爲0，相當於對三角形進行了一定的拉伸和旋轉，得到了綠色十字星所示的效果（仍然是三角形），仍然保證了拓撲關係的不變性。
很有意思的運算，因爲PCA就是屬於其中的一個情況。