4.2 Probabilistic Generative Models
分类问题的生成模型：model p(x|ck),p(ck),再用Bayesian公式推导出p(ck|x)。对于“两类问题”，有：
其中a的定义如下：
其中有logistic function：
对K>2类分类问题，将logistic扩展到K类，即使用softmax function来解决。softmax的预测函数如下：
即对每一个分类K都要有一个相应的预测值，分母是为了保证概率之和为1。当K=2使，可以推导出softmax即logistic。在分类之前，还要对p(x|ck)和p(ck)建模，下面来看看当x分别为连续型变量和离散型变量时，不同的建模方法。
4.2.1 Continuous inputs
当x是连续型变量，我们假设x|ck服从多维高斯分布，并假设不同的类有相同的协方差矩阵。即有：
再利用上一小节介绍的关于后验概率和a的公式，可以得到：
当然这是假设K=2的情况下，且因为各个分类有相同的协方差矩阵，原本在似然函数中的x的二次项也消失了，注意到现在的决策面a仍然是x的线性函数，如果每个分类有不同的协方差矩阵的时候，那么二次项会在a中重新出现，模型就不再是线性模型了。当K>2的时候，上述过程是一样的。现在，在假设x|ck服从高斯分布的条件下，我们得到了后验概率的表达式，那么接下来的任务就是确定似然函数和先验概率中的参数了。
4.2.2 Maximum likelihood solution
假设先验概率p(c1)=π，我们可以得到似然函数：
分别对π，μ和协方差矩阵求偏导，得到参数的值，再反带回后验概率中进行接下来的预测即可。
4.2.3 Discrete features
每一个输入向量的分量，即每一个特征，假设取值为0或1。假设不同特征之间是相互独立的(即朴素贝叶斯假设)，假设对于每一个分类k，都有一个参数向量μK，μKi即在分类为K的条件下，第i个特征取1的概率，所以可以得到x|ck的分布：
乘以先验之后再对整个式子取对数得到似然函数，对似然函数的参数求偏导后得出参数值，再带回开始提到的a中，对接下来的输入进行预测即可。
4.2.4 Exponential family
这一节主要说明了假设x|ck属于比高斯分布更广泛的指数族分布时的一些性质，就不具体说了。