西瓜书学习——第三章 线性模型

基本形式

给定由 d 个属性描述的示例 x = (X1; X2; … ; Xd) ， 其中 Xi 是 X 在 第 i 个属性上的取值，线性模型 (linear model)试图学得一个通过属性的线性组合来进行预测的函数：

向量形式：

线性回归

“线性回归” (linear regression)试图学得一个线性模型以尽可能准确地预测实值输出标记.

即找到一条直线来区分样本，找到ω 和 b 来衡量 f(x) 与 u 之间的差别，因此我们可试图让均方误差最小化：

ω 和 b 值的确定推导过程如下：

我们也可将输出标记的对数作为线性模型逼近的目标， 即$lny=w^Tx+b$，即对数线性回归，我们试图让
$e^ (w^T+b)$逼近y，示意图如下：

更一般地，我们讲对数函数考虑成一般函数$g(.)$,令

这样得到的模型称为广义线性模型.

对数机率回归

我们用到一种$sigmoid$函数对数机率函数$y=\frac{1}{1+e^{-z}}$将 z 值转化为一个 0 或 1 的 $y$ 值，将
$y=\frac{1}{1+e^{-{w^T+b}}}$代入得：

这时我们将 $y$ 视为类后验概率估计 $p(y=1|x)$ 则上式可变成

利用条件概率公式$p(A|B)=\frac{p(AB)}{p(B)}$可得：

我们利用最大似然估计来估计ω 和 b：我们令 $\beta=(w;b)$

最后我们得到 $\beta$ 第 $t+1$ 轮迭代的更新公式为：

线性判别分析

线性判别分析(简称LDA)是一种经典的线性学习方法，思想如下：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类样例的投影点尽可能远离；在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别.