混合高斯模型算法

原創

青莲太初

2020-02-20 18:46

首先第一種是高斯混合模型算法:

高斯模型有單高斯模型（SGM）和混合高斯模型（GMM）兩種。

（1）單高斯模型：

爲簡單起見，閾值t的選取一般靠經驗值來設定。通常意義下，我們一般取t=0.7-0.75之間。

二維情況如下所示：

（2）混合高斯模型：

對於(b)圖所示的情況，很明顯，單高斯模型是無法解決的。爲了解決這個問題，人們提出了高斯混合模型（GMM），顧名思義，就是數據可以看作是從數個高斯分佈中生成出來的。雖然我們可以用不同的分佈來隨意地構造 XX Mixture Model ，但是 GMM是最爲流行。另外，Mixture Model 本身其實也是可以變得任意複雜的，通過增加 Model 的個數，我們可以任意地逼近任何連續的概率密分佈。

每個 GMM 由 K 個 Gaussian 分佈組成，每個 Gaussian 稱爲一個“Component”，這些 Component 線性加成在一起就組成了 GMM 的概率密度函數：

（1）

其中，πk表示選中這個component部分的概率，我們也稱其爲加權係數。

根據上面的式子，如果我們要從 GMM 的分佈中隨機地取一個點的話，實際上可以分爲兩步：

（1）首先隨機地在這 K 個 Component 之中選一個，每個 Component 被選中的概率實際上就是它的係數 πk，選中了 Component 之後，再單獨地考慮從這個 Component 的分佈中選取一個點就可以了──這裏已經回到了普通的 Gaussian 分佈，轉化爲了已知的問題。假設現在有 N 個數據點，我們認爲這些數據點由某個GMM模型產生，現在我們要需要確定 πk,μk,σk 這些參數。很自然的，我們想到利用最大似然估計來確定這些參數，GMM的似然函數如下：

（2）

在最大似然估計裏面，由於我們的目的是把乘積的形式分解爲求和的形式，即在等式的左右兩邊加上一個log函數，但是由上文博客裏的（2）式可以看出，轉化爲log後，還有log(a+b)的形式，因此，要進一步求解。

我們採用EM算法，分佈迭代求解最大值：

EM算法的步驟這裏不作詳細的介紹，可以參見博客：

http://blog.pluskid.org/?p=39

貼出代碼：

  1 function varargout = gmm(X, K_or_centroids)
  2 % ============================================================
  3 % Expectation-Maximization iteration implementation of
  4 % Gaussian Mixture Model.
  5 %
  6 % PX = GMM(X, K_OR_CENTROIDS)
  7 % [PX MODEL] = GMM(X, K_OR_CENTROIDS)
  8 %
  9 %  - X: N-by-D data matrix.
 10 %  - K_OR_CENTROIDS: either K indicating the number of
 11 %       components or a K-by-D matrix indicating the
 12 %       choosing of the initial K centroids.
 13 %
 14 %  - PX: N-by-K matrix indicating the probability of each
 15 %       component generating each point.
 16 %  - MODEL: a structure containing the parameters for a GMM:
 17 %       MODEL.Miu: a K-by-D matrix.
 18 %       MODEL.Sigma: a D-by-D-by-K matrix.
 19 %       MODEL.Pi: a 1-by-K vector.
 20 % ============================================================
 21  
 22     threshold = 1e-15;
 23     [N, D] = size(X);
 24  
 25     if isscalar(K_or_centroids)
 26         K = K_or_centroids;
 27         % randomly pick centroids
 28         rndp = randperm(N);
 29         centroids = X(rndp(1:K), :);
 30     else
 31         K = size(K_or_centroids, 1);
 32         centroids = K_or_centroids;
 33     end
 34  
 35     % initial values
 36     [pMiu pPi pSigma] = init_params();
 37  
 38     Lprev = -inf;
 39     while true
 40         Px = calc_prob();
 41  
 42         % new value for pGamma
 43         pGamma = Px .* repmat(pPi, N, 1);
 44         pGamma = pGamma ./ repmat(sum(pGamma, 2), 1, K);
 45  
 46         % new value for parameters of each Component
 47         Nk = sum(pGamma, 1);
 48         pMiu = diag(1./Nk) * pGamma' * X;
 49         pPi = Nk/N;
 50         for kk = 1:K
 51             Xshift = X-repmat(pMiu(kk, :), N, 1);
 52             pSigma(:, :, kk) = (Xshift' * ...
 53                 (diag(pGamma(:, kk)) * Xshift)) / Nk(kk);
 54         end
 55  
 56         % check for convergence
 57         L = sum(log(Px*pPi'));
 58         if L-Lprev < threshold
 59             break;
 60         end
 61         Lprev = L;
 62     end
 63  
 64     if nargout == 1
 65         varargout = {Px};
 66     else
 67         model = [];
 68         model.Miu = pMiu;
 69         model.Sigma = pSigma;
 70         model.Pi = pPi;
 71         varargout = {Px, model};
 72     end
 73  
 74     function [pMiu pPi pSigma] = init_params()
 75         pMiu = centroids;
 76         pPi = zeros(1, K);
 77         pSigma = zeros(D, D, K);
 78  
 79         % hard assign x to each centroids
 80         distmat = repmat(sum(X.*X, 2), 1, K) + ...
 81             repmat(sum(pMiu.*pMiu, 2)', N, 1) - ...
 82             2*X*pMiu';
 83         [dummy labels] = min(distmat, [], 2);
 84  
 85         for k=1:K
 86             Xk = X(labels == k, :);
 87             pPi(k) = size(Xk, 1)/N;
 88             pSigma(:, :, k) = cov(Xk);
 89         end
 90     end
 91  
 92     function Px = calc_prob()
 93         Px = zeros(N, K);
 94         for k = 1:K
 95             Xshift = X-repmat(pMiu(k, :), N, 1);
 96             inv_pSigma = inv(pSigma(:, :, k));
 97             tmp = sum((Xshift*inv_pSigma) .* Xshift, 2);
 98             coef = (2*pi)^(-D/2) * sqrt(det(inv_pSigma));
 99             Px(:, k) = coef * exp(-0.5*tmp);
100         end
101     end
102 end