discriminative training鑑別性訓練

MLE(maximum likelihood estimation最大似然估計)：
之前用於訓練HMM參數(A和B矩陣)所用的Baum-Welch算法和嵌入式訓練時基於最大化訓練數據的似然度的。MLE的替代方案是不再將最佳模型和數據相匹配，而是從其他模型中區分出最佳模型。鑑別性訓練包括MMIE(最大互信息估計準則，Woodland and Povey, 2002)使用NN/SVM分類器，MCE(最小分類錯誤準則，Chou et al., 1993;McDermott and Hazen, 2004)，MBR(最小貝葉斯風險估計準則，Doumpiotis et al., 2003a)。

1. Maximum Mutual Information Estimation(最大互信息估計)
   
   MMIE準則原理：
   在O給定的情況下，描述對W的平均不確定性的度量是條件熵H(W|O)，寫作：
   $H(W|O)=-\sum\limits_{W,O} {p(W,O)logp(W|O)} =-E[logp(W|O)]$
   目標是降低這個不確定度。在實際語音識別聲學建模過程中，通常使用一個參數化的模型/\來近似求的真實後驗概率P(W|O).
   ${H_ \wedge }(W|O) = - E[\log {p_ \wedge }(W|O)]$
   最小化$H_ \wedge (W|O)$的過程就是最大化互信息$I_ \wedge (W;O)$的過程，這種情況下的MMI準則實質上等價於條件最大似然準則(Conditional Maiximum Likelihood)