Nicolas Gillis PhD Thesis
Chapter 3 Nonnegative Rank
-
存在兩個open的問題，對於非負矩陣分解M=UV：
當矩陣M的秩固定時，NMF的複雜度如何？
當兩個矩陣印子UV的值固定時，NMF的複雜度如何？
-
exact NMF 問題：
- 給定一個非負m*n矩陣M，其秩爲r，如果可能，找到兩個非負矩陣因子U，V，其維度分別爲m*r，r*n，並且有M=UV。
- exact NMF 問題有以下幾個結論：
- 當rank(M)=1時，任何秩爲1的非負矩陣M都可以被分解爲兩個非負矩陣U，V的乘積
- 當rank(M)=2時，任何秩爲2的非負矩陣M都可以被分解爲兩個秩爲2的非負矩陣U，V
解釋：講矩陣M的每一列看做一個元素，秩爲2則其每一列都可以在一個2維子空間上被表示，也即每列都可以用兩個非負向量進行表示。並且，這兩個extreme vector能夠在多項式時間內計算出來。
-
針對rank-1 NMF，目前有以下理論：
- rank-1 NMF能夠在多項式時間內解決；
- 非負矩陣M的左右主奇異向量都是非負的（SVD：M=UΣVT，U中向量稱爲左奇異向量，V中向量稱之爲右奇異向量）https://www.cnblogs.com/fionacai/p/5767973.html；
- 主奇異向量的外積是M最好的rank-1 近似
- 這些向量能夠在多項式時間內被計算
-
對於rank-2 NMF：
- 當矩陣M的最優rank-2近似爲唯一且非負時，rank-2 NMF問題能夠在多項式時間內解決
- 實際上，rank-2 NMF經常不滿足非負性，因爲M中有很多相當小的元素
- 因此rank-2 NMF的複雜性未知；並且對於任何秩大於2的固定因子分解，複雜度都是未知的
-
鬆弛法
對於高斯-賽德爾迭代法，首先求得第k+1次迭代值，然後計算第k+1次、第k次迭代值之差，之後再第k次迭代值的基礎上，直接加上這個差的一個倍數ω，作爲實際第k+1次的迭代值，其中，ω成爲鬆弛因子。
當ω>1時，成爲超鬆弛法，次數加大了第k+1詞迭代的比重；當ω<1時，稱爲亞鬆弛法或低鬆弛法；當ω=1時，就是普通的高斯-賽德爾迭代法。
矩陣形式go forhttps://baike.baidu.com/item/%E6%9D%BE%E5%BC%9B%E6%B3%95
-
Restricted Nonnegative Rank：rank+*(M)
對於非負矩陣M，存在一個最小的正數k，使得存在UV（維度與前文相同省略），使得M=UV，並且rank（U）= rank（M），也即col（U）= col（M）。
一般計算受限非負秩，以及相關的非負矩陣分解因子UV，使得M=UV，並且rank（U）= rank（M）= r。
做上面計算的原因在於：1）爲尋找非負秩提供了新的上界：
求解受限非負秩與rank-2 NMF不同，當
-
Nested Polytopes Problem
對於一個多面體空間P，其中存在一些點構成的集合S，這些點不在任何超平面上。試圖找到包含點數量最小的集合，使得這些點的凸包（convex hull）T包含S，也即
-
Intermediate Simplex
給定一個有界的多面體
Intermediate simplex問題是NPP問題的一個特殊情況，即是否k等於r（r是最小的點數量）。也即，是否存在一個單純形T（定義在r-1維空間上的r個點），包含在P中，且包含S
Th3.1 從 Exact NMF 到 IS問題存在一個多項式時間的reduction（化簡），反之亦然。（IS is NP-hard using a reduction from 3-SAT）
Th3.2 從 RNR 到 NPP 也存在一個多項式時間的reduction（化簡），反之亦然。
Question：
1.P28 爲何M的列是按歸一化的，則A至少有一列和不爲0？
2.P28 爲何因爲A的每一列都是歸一化的，則有M是列stochastic的，並且B也是按列歸一化的？