條件熵的定義

最大熵模型中使用條件熵作爲模型基礎，決策樹算法中利用經驗條件熵作爲計算信息增益的基礎。當熵和條件熵中的概率由數據估計（特別是極大似然估計）得到時，所對應的熵和條件熵分別成爲經驗熵和經驗條件熵。維基百科中也有對條件熵的定義和相關公式的描述。

李航統計學習方法中最大熵模型的定義爲：

決策樹求信息增益時的經驗條件熵的定義爲：

可以看得出條件熵和經驗條件熵公式是一樣的，只是概率來源不同。