NMF非負矩陣分解

參考文獻:Lee D D , Seung H S . Learning the Parts of Objects by Non-Negative Matrix Factorization[J]. Nature, 1999, 401(6755):788-791.

這篇文章是NMF首先被提出的文章,1999年發表於《Nature》。

NMF即非負矩陣分解,是一種(非線性)降維的方法,常用於文本和圖像的降維(非負)。它能夠提取出原始數據中的“局部”特徵,這與PCA和VQ(矢量量化)是不同的,下圖比較清楚的在展示了三種方法的結果上的區別,紅色表示負值。

在這裏插入圖片描述

V:n*m的原始矩陣,每一列是一張圖像的數據,包含n個非負像素值,共m張圖像;

W:n*r的矩陣,稱爲基本圖像(basic images),可解釋爲原始圖像的r個構成部分。

H:r*m的矩陣,每一列是一張圖的編碼(係數);

–>V中的每一張圖可以表示爲基本圖像的線性組合。

W和H中的元素需要滿足非負性約束,且對於r的選擇一般有(n+m)r<nm,即達到了壓縮的目的(可通過PCA的結果選擇r)。

NMF的基本圖像W和圖像編碼H都比較稀疏:每個基本圖像都只是面部的一部分;給定的一張臉不會用到所有的基本圖像。

目標函數
在這裏插入圖片描述
該目標函數可以通過將NMF解釋爲構建圖像生成概率模型的方法來得出。將壓縮圖像的還原過程看做WH上加一泊松噪音。則該目標函數與從W和H生成圖像V的似然有關。

更新方法:

在這裏插入圖片描述

對圖像生成(還原)過程的理解:

在這裏插入圖片描述
與SVD算法的比較

​ 非負矩陣分解的特徵向量存在信息冗餘,但可解釋性強,在分解過程中基數目需要預先確定,與原始矩陣的近似程度只能在歐氏距離上達到局部最小而非全局最小,受初始值影響明顯。

與主成分分析方法的比較

​ 非負矩陣分解的數學實現簡便、分解形式和分解結果更易解釋、以及佔用存儲空間少,更重要的是非負限制與聯繫部分形成整體的直覺概念相協調,這與智慧生命對事物感知的生理過程相符合。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章