摘要：使用非負矩陣分解的分類方法，使用兩個連貫的獨立步驟，第一個是完成數據轉變（降維），第二個使用分類方法分類轉變後的數據，例如最近鄰/中心 或者支持向量機。接下來我們關注在使用NMF接着SVM分類。這兩步驟的參數，也就是NMF基/相關係數和支持向量都是獨立優化的，這樣導致一個自由化分類表現。在本文彙總，合併兩個步驟到一個通過合併最大間隔分類約束到標準的NMF優化中。在提出的框架後面的概念是去完成非負矩陣分解，同時確保兩類別之間的投影數據之間的間隔最大。併發 NMF分解和支持向量優化通過一系列乘法更新規則來優化。在相同內容中，最大間隔分類約束被加到NMF問題使用額外的判別約束和各自的乘法更新規則被提取。最大間隔分類約束在NMF分解問題上的影響被解決。
1簡介
（NMF部分先不談）在原始數據完成NMF之後，分類方法例如SVM可以應用到投影數據上。SVM找到在高維投影空間中的超平面，該超平面具有最大距離到最近的每個類別的投影數據。這個超平面稱爲最大間隔超平面。SVM是最大間隔分類器。在NMF例子中，SVM優化一個目標函數在具體的約束下。在線性分類的例子中，SVM的方程優化問題僅僅取決於數據的點乘。通過應用核技巧，數據被投影到一個轉化後的特徵空間和點積被一個非線性核函數取代。最大間隔超平面在特徵空間仍然是線性的，但是構成一個非線性平面在原始數據空間。因此完成非線性數據分類。SVM分類器的支持向量的個數通過可分離case 近似(separable case approximation)SCA算法減少。SCA首先計算Vapnik’s SVM解在訓練數據。然後訓練數據被修改以便於可分離。最後SVM在修正後的訓練數據上重新計算。並且SVM結合獨立成分分析（ICA）爲了完成降溫工作。
有兩種方式選擇分類模型。In-sample 和out-of-sample 。 In-sample 方法對於模型選擇和誤差估計使用相同的數據，然而out-of sample 方法使用兩個分離的數據集對於訓練和驗證分類模型。分類模型的大部分是基於out-of-sample方法選擇的。在【11】引入了兩個in-sample方法對於模型選擇和SVM誤差估計，基於數據以來的結構風險最小（SRM），好過out-of-sample 方法，其只有一小部分數據是可用的。
在本文我們解決數據表達的問題和分類優化問題到一個新的統一的框架，也就是我們的目標是找到NMF數據投影並且最大化SVM分類器分類精度。更精確的，我們結合NMF優化問題和SVM優化的對偶公式到一個單目標函數，在非負約束和係數矩陣和SVM的拉格朗日乘子。使用一個輔助函數並最小，對於NMF基核係數使用乘法更新法則，SVM的拉格朗日乘子被提出。進一步，我們增加判別式NMF（DNMF）的Fisher約束，得到更好的分類結果。
2相關工作
一些NMF修正存在，合併一些額外約束到NMF初始問題，爲了增強判別能力。在DNMF中，增加Fisher約束到原NMF損失函數中。Fisher約束最大化平均類別值之間的距離，並最小化數據投影到降維空間後的類別鬆散度。在臉部表情識別數據集上的實驗顯示由DNMF產生的基圖片組成基於部分表達的人臉，更好的對應了直覺上臉部地區的概念，例如嘴脣，眉毛。在【13】中引入了Fisher約束稱爲Fisher NMF(FNMF)。在【14】主成分分析約束，例如最大化稀疏矩陣方差，增加到NMF公式中，生成PCA-NMF（PNMF），類似FNMF和DNMF算法，應用到臉部圖像，PNMF基圖像可以被解讀爲對應臉部區域。在【15】原始數據矩陣X 首先被映射到一個更高階再生希爾伯特空間通過一個非線性多項式核轉換
這種方式，基圖像的非負約束和係數被維持對於有非線性依賴的特徵來說。
沒有使用乘法更新規則，NMF損失函數最小化也可能通過利用投影梯度方法實現。投影梯度方法對於NMF問題首先在【16】中使用。在【17】，投影梯度被用來解DNMF的問題，具有一些不同，不去使用Fisher約束到投影稀疏矩陣H，而是被應用到基矩陣Z，通過
