李航:統計學習方法 學習筆記 6 logistic迴歸與最大熵模型

1. logistic分佈函數

在這裏插入圖片描述
在這裏插入圖片描述

2. 最大熵模型

原問題與對偶問題

在這裏插入圖片描述
如何將約束最優化的原始問題轉換爲無約束最優化的對偶問題?見該書附錄C 拉格朗日對偶性

L(p,w) 對 P(y|x) 求偏導

w0w_{0} 處的計算?
在這裏插入圖片描述
在這裏插入圖片描述

6.22 及 6.23 式推導

在這裏插入圖片描述
在這裏插入圖片描述

極大似然估計 6.26, 6.27 式

在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述

3. 模型學習的最優化算法

改進的迭代尺度法 IIS

在這裏插入圖片描述
未完待續…

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章