本文为《统计学习方法》第6章笔记。
概论
逻辑回归与最大熵模型都属于对数线性模型，逻辑回归求解似然函数的极大值，得到参数w，最大熵模型先转对偶问题，求得条件概率模型，也是通过极大值求解得到w。涉及到最优化算法的部分都比较晦涩，由于本人理解得也不深刻，这里就不详细展开了。
逻辑回归模型
逻辑斯蒂分布
设X为连续随机变量，服从逻辑斯蒂分布的分布函数和密度函数分别为：
二项逻辑斯蒂回归模型
条件概率分布为：
将b扩充到w向量内，1扩充到x向量内，则方程简化为
机率：事情发生与不发生的概率之比。
对数机率：
对逻辑回归而言，对数机率为
模型参数估计
设
似然函数为：
对数似然函数为：
对L(w)求极大值，得到w的估计值。一般使用梯度下降或拟牛顿法（代码中常见的BFGS算法）
多项逻辑斯蒂回归
最大熵模型
假设离散随机变量X的概率分布为P(X)，则其熵为：
熵满足不等式：
|X|为X的取值个数，当X服从均匀分布时，熵最大。
熵最大原理：最好的模型是熵最大的模型。在没有更多信息时，不确定的部分都是等概率的。
给定训练数据集，联合经验分布和边缘经验分布为：
用特征函数f描述x和y之间的某一个事实：
f关于联合经验分布的期望值为：
f关于边缘经验分布及模型P(Y|X)的期望为：
如果模型能够获取数据中的信息，那么2个期望值应该相等
定义在P(Y|X)上的条件熵为：
满足所有约束的模型集合C为：
模型集合C中条件熵最大的模型成为最大熵模型，公式中对数为自然对数。
在约束条件下的求解，需要用到拉格朗日函数，然后转对偶问题，这里略去推导过程（可自行查询资料），对偶问题为：
先求得的解为
再求极大化问题，得到参数w的解。这需要用到最优化算法，常见的有改进的迭代尺度法（IIS）、梯度下降法、牛顿法、拟牛顿法（典型如BFGS）
这里稍微做点介绍：
IIS思路：假设能使得模型的似然函数增大，则更新
IIS最后求解的方程为：
如果是常数M（对任何x,y），则：
如果不是常数，可以通过牛顿法求解：
以表示以上(1)式，则：
拟牛顿法思路：牛顿法需要求解黑塞矩阵H的逆，较为麻烦，拟牛顿法考虑用一个n阶矩阵逼近H（BFGS算法）或H的逆（DFP算法）
BFGS算法更新逼近矩阵：