线性回归和逻辑回归损失函数推导

线性回归和逻辑回归损失函数推导

@(数据挖掘)

---

一、线性回归最小二乘loss推导

我们都知道线性回归是机器学习中最简单，使用范围也很广的一个算法，经典且使用。而它的损失函数最小二乘损失，大家也很熟悉，但是为什么要用最小二乘loss呢？正文开始：
可以通过一系列假设，从概率的角度去说明为什么选最小二乘（按理说，我们有许多函数可以定义损失）。
我们这里的假设证明不是唯一的，还有许多方法可以证明，有兴趣的可以自行google。

1. 假设：
   y(i)=θTx(i)+ε(i)$y^{(i)}={\theta }^T{x}^{(i)}+{\epsilon }^{(i)}$
   ε(i)=error${\epsilon }^{(i)}=error$
   这里的error也就是模型和实际数值之间的误差值
   根据中心极限定理(许多独立随机变量组合会符合高斯分布)，我们可以接着假设误差项符合高斯分布：
   ε(i)∼N(0,σ2)${\epsilon }^{(i)}\sim N(0,{\sigma }^2)$
   即概率密度函数为
   P(ε(i))=12π√σexp(−(ε(i))22σ2)$P({\epsilon }^{(i)})=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{({\epsilon }^{(i)}{)}^2}{2{\sigma }^2})$
2. 上述误差函数的概率密度函数服从高斯分布，则我们易知：
   P(y(i)|x(i);θ)=12π√σexp(−(y(i)−θTx(i))22σ2)$P\left(y^{(i)}|x^{(i)};\theta \right)=\frac{1}{\sqrt{2\pi }\sigma }exp\left(-\frac{{\left(y^{(i)}-{\theta }^T{x}^{(i)}\right)}^2}{2{\sigma }^2}\right)$
   即：y(i)|x(i);θ∼N(θTx(i),σ2)$y^{(i)}|x^{(i)};\theta \sim N({\theta }^T{x}^{(i)},{\sigma }^2)$
   这里需要特别注意，我们不把θ$\theta$ 认为是随机变量，而是有着我们未知的确定值，也就是把它看成我们需要去估计得到的值，也就是说上面的概率P(y(i)|x(i);θ)$P\left(y^{(i)}|x^{(i)};\theta \right)$ 意思是以θ$\theta$ 为参数时，给定x(i)$x^{(i)}$ 条件下y(i)$y^{(i)}$ 的条件概率分布
3. 假设不同输入x(i)$x^{(i)}$ 对应误差项ε(i)${\epsilon }^{(i)}$ 是独立同分布(IID:Independently and Identically Distributed;意思是条件独立的，但是都服从同一均值方差的高斯分布)：
   则我们的模型可以用概率模型定义为一个极大似然估计问题：

L(θ)=P(y⃗ |x;θ)=∏i=1mP(y(i)|x(i);θ)=∏i=1m12π‾‾‾√σexp(−(y(i)−θTx(i))22σ2)$$L(\theta )=P(\overrightarrow{y}|x;\theta )=\prod _{i=1}^{m}P\left(y^{(i)}|x^{(i)};\theta \right)=\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }exp\left(-\frac{{\left(y^{(i)}-{\theta }^T{x}^{(i)}\right)}^2}{2{\sigma }^2}\right)$$

4. 所以最后我们的寻找最优模型的参数θ$\theta$ 问题变成了一个求上式关于θ$\theta$ 的极大似然估计问题，为了方便计算，我们常常求对数似然，得到：

logL(θ)=log∏i=1m12π‾‾‾√σexp(−(y(i)−θTx(i))22σ2)=mlog12π‾‾‾√σ+∑i=1m−(y(i)−θTx(i))22σ2$$logL(\theta )=log\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }exp\left(-\frac{{\left(y^{(i)}-{\theta }^T{x}^{(i)}\right)}^2}{2{\sigma }^2}\right)=mlog\frac{1}{\sqrt{2\pi }\sigma }+\sum _{i=1}^m-\frac{{\left(y^{(i)}-{\theta }^T{x}^{(i)}\right)}^2}{2{\sigma }^2}$$

所以从上式易知，最大化logL(θ)$logL(\theta )$ 问题就相当于最小化∑mi=1(y(i)−θTx(i))22σ2$\sum _{i=1}^m\frac{{\left(y^{(i)}-{\theta }^T{x}^{(i)}\right)}^2}{2{\sigma }^2}$ 问题，也就是我们定义的loss

二、logistics回归加sigmoid原因以及交叉熵损失函数推导

我们知道，其实逻辑回归模型变成了分类问题，但只是在线性回归的基础上加上了一个sigmoid函数，那么问题来了：
1. 为什么我们要选择使用一个sigmoid函数？
大家可以移步参考知乎上的回答：https://www.zhihu.com/question/35322351
2. 交叉熵损失函数的推导
- 同线性回归，我们可以把我们的模型用概率表示：
P(y(i)=1|x(i);θ)=hθ(x(i))$P(y^{(i)}=1|x^{(i)};\theta )=h_{\theta }(x^{(i)})$
P(y(i)=0|x(i);θ)=1−hθ(x(i))$P(y^{(i)}=0|x^{(i)};\theta )=1-h_{\theta }(x^{(i)})$
- 我们可以进一步把两式整合：
P(y(i)|x(i);θ)=hθ(x(i))y(i)(1−hθ(x(i)))(1−y(i))$P(y^{(i)}|x^{(i)};\theta )=h_{\theta }(x^{(i)}{)}^{y^{(i)}}(1-h_{\theta }(x^{(i)}){)}^{(1-y^{(i)})}$
- 同样我们可以把模型最优问题看做是极大似然估计问题：
L(θ)=P(y⃗ |x;θ)=∏mi=1P(y(i)|x(i);θ)=∏mi=1hθ(x(i))y(i)(1−hθ(x(i)))(1−y(i))$L(\theta )=P(\overrightarrow{y}|x;\theta )=\prod _{i=1}^{m}P(y^{(i)}|x^{(i)};\theta )=\prod _{i=1}^m{h}_{\theta }(x^{(i)}{)}^{y^{(i)}}(1-h_{\theta }(x^{(i)}){)}^{(1-y^{(i)})}$
- 还是去对数似然：
logL(θ)=∑mi=1y(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))$logL(\theta )=\sum _{i=1}^m{y}^{(i)}log{h}_{\theta }(x^{(i)})+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))$
则，得证交叉熵函数