- 判別式模型，就是隻有一個模型，你把測試用例往裏面一丟，label就出來了，如SVM。
- 生成式模型，有多個模型(一般有多少類就有多少個)，你得把測試用例分別丟到各個模型裏面，最後比較其結果，選擇最優的作爲label，如樸素貝葉斯。
生成式模型(Generative Model)與判別式模型(Discrimitive Model)的區別在於：
對於輸入x，類別標籤y：生成式模型估計它們的聯合概率分佈P(x,y) ；判別式模型估計條件概率分佈P(y|x)
判別式模型常見的主要有：
邏輯迴歸 Logistic Regression
支持向量機 SVM
神經網絡 NN
傳統神經網絡 Taditional Neural Networks
鄰近取樣 Nearest Neighbor
條件隨機場 CRF
線性判別分析 Linear Discriminant Analysis
提升算法 Boosting
線性迴歸 Linear Regression
高斯過程 Gaussian Process
分類迴歸樹 Classification and Regression Tree(CART)
生成式模型常見的主要有：
高斯 Gaussians
樸素貝葉斯 Naive Bayes
混合多項式 Mixtures of Multinomials
多專家模型 Mixtures of Experts
隱馬爾科夫模型 HMM
S型信念網絡 Sigmoidal Belief Networks
貝葉斯網絡 Bayesian Networks
馬爾科夫隨機場 Markov Random Fields
潛在狄利克雷分配 Latent Dirichlet Allocation(LDA)
K近鄰 KNN
深度信念網絡 DBN