李航:统计学习方法 学习笔记 6 logistic回归与最大熵模型

1. logistic分布函数

在这里插入图片描述
在这里插入图片描述

2. 最大熵模型

原问题与对偶问题

在这里插入图片描述
如何将约束最优化的原始问题转换为无约束最优化的对偶问题?见该书附录C 拉格朗日对偶性

L(p,w) 对 P(y|x) 求偏导

w0w_{0} 处的计算?
在这里插入图片描述
在这里插入图片描述

6.22 及 6.23 式推导

在这里插入图片描述
在这里插入图片描述

极大似然估计 6.26, 6.27 式

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3. 模型学习的最优化算法

改进的迭代尺度法 IIS

在这里插入图片描述
未完待续…

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章