2 Graphical Models in Action

• From course Probabilistic Models and Inference Algorithms for Machine Learning, Prof. Dahua Lin
• All contents here are from the course and self understandings.

---

基本步驟

1. 理解你要求解的某個問題
   
   • what kind of entities/factors are involved?
   • How do they interact with each other?
   • Any constraints to take into account?
2. 建立模型
   
   • Introduce variables
   • Specify relations among them: make assumptions and modeling choices
   • Formalize the graphical model
3. Derive the inference & estimation algorithms

---

Gaussian Mixture Model (GMM)

1. Motivation & Assumptions

• Observation: clusters （如圖中所示）
• Assumptions:
  
  • latent components
  • independent generation of components （一個component指一個如圖所示的cluster）
  • independent generation of points in each component.

2. Formulate Gaussian Mixture Model

• Variables:
  
  • sample points: xi
  • component indicators: zi
• Generative procedure: for each i
  
  • choose a component: zi∈π
  • generate a point: xi∈N(μzi,Σzi) (每個sample point 服從正態分佈，mean和方差爲μzi 和 Σzi )
• Model parameters:
  
  • component parameters: {(μk,Σk)}k=1:K
  • choice prior: π=(π2,⋯,πK)
• Joint distribution:
  
  p(X,Z|Θ)=∏i=1NpC(zi|π)pN(xi|μzi,Σzi)
• 該模型的圖形表達如下：
  
  
  • 但是以上的模型不能泛化：當有多個groups 的數據時候，每一個 group Gm 都有一個 prior: πm ，這樣每一個group一個先驗，對於新來的數據，並沒有一個generalized的 πnew . 因此需要一個 Group-wise 的GMM

3. Extend Gaussian Mixture Model

• 一般來說，要泛華某個先驗（prior），我們可以採用一些常見的分佈，如下，這裏我們採用Dirichlet
  
• Group-wise GMM: Generalizable to New Groups
  
  • Introduce a Dirichlet Prior over πm to allow the generation of new groups.
  • Formulation:
  • • For each group Gm:πm∼Dir(α) .
  • • Generate the i-th point in Gm :
      zi∼πm
      xi∼N(μk,Σk)
  • • 注意 πm 現在是個 隱變量 (latent variable)
      
• Temporal Structures:
  
  • 在實際世界中，時域上的變化是很常見的，那對於模型來說，也需要對應的dynamics作用到 不同的變量上
  • Three ways to incorporate dynamics：
    Dynamics on xi
    Dynamics on zi
    Dynamics on π