線性迴歸與 logistic迴歸

線性迴歸

算法方程：$h_{\theta}(x)=\sum_{i=0}^{n} \theta_{i} x_{i}=\theta^{T} x$

損失函數：$J\left(\theta_{0}, \theta_{1}, \ldots, \theta_{n}\right)=\frac{1}{2 m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}$
將損失函數看做是關於$\theta$的函數。

最小化損失函數：凸函數可以找到全局最優解，算法梯度下降。
$\begin{array}{l}{\theta_{0}:=\theta_{0}-\alpha \frac{1}{m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right) x_{0}^{(i)}} \\ {\theta_{1}:=\theta_{1}-\alpha \frac{1}{m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right) x_{1}^{(i)}} \\ {\theta_{2}:=\theta_{2}-\alpha \frac{1}{m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right) x_{2}^{(i)}} \\ {\ldots}\end{array}$

學習率：$\theta_{1}:=\theta_{1}-\alpha \frac{d}{d \theta_{1}} J\left(\theta_{1}\right)$
與收斂速度相關

過擬合與欠擬合：我們的假設函數曲線對原始數據擬合得非常好，但喪失了一般推到性，以致於預測效果很差。
解決方法：正則化
作用：控制參數幅度；限制參數搜索空間
$J(\theta)=\frac{1}{2 m}\left[\sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}+\lambda \sum_{j=1}^{n} \theta_{j}^{2}\right]$
假設原始線程方式是$h_{\theta}(x)=\theta_1x_1+\theta_2x_2+\theta_3x_3+\theta_4x_4$，在線訓練過程中，根據訓練集數據大小，每一個$\theta$的都可能非常大，或者非常小，這條線抖動非常大。如果在損失函數中加入$\sum_{j=1}^{n} \theta_{j}^{2}$，因爲損失函數要求最小值，所以每一個$\theta$的值就不可能很大。
$\lambda$是一個超參數。$\lambda$太小，正則化項不起作用；$\lambda$太大，學習到的參數主要由正則化項決定，與訓練數據無關，也是錯誤的。
通常使用L1、L2正則化。

logistic迴歸

線性迴歸在分類問題上使用，健壯性差，所以使用logistic迴歸。
sigmoid函數值域在(0,1)之間，可以看做一個概率函數。
在線性迴歸外面套一層sigmoid函數。

算法方程：$h_{\theta}(x)=g\left(\theta_{0}+\theta_{1} x_{1}+\theta_{2} x_{2}\right)$
$h_{\theta}(x)=g\left(\theta_{0}+\theta_{1} x_{1}+\theta_{2} x_{2}+\theta_{3} x_{1}^{2}+\theta_{4} x_{2}^{2}\right)$

損失函數：$\operatorname{cost}\left(h_{\theta}(x), y\right)=\left\{\begin{aligned}-\log \left(h_{\theta}(x)\right) & \text { if } y=1 \\-\log \left(1-h_{\theta}(x)\right) & \text { if } y=0 \end{aligned}\right.$

$J(\theta)=-\frac{1}{m}\left[\sum_{i=1}^{m} y^{(i)} \log h_{\theta}\left(x^{(i)}\right)+\left(1-y^{(i)}\right) \log \left(1-h_{\theta}\left(x^{(i)}\right)\right)\right]$

梯度下降優化公式：$\theta_{j}:=\theta_{j}-\alpha \frac{\partial}{\partial \theta_{j}} J(\theta)$

加入正則化：$J(\theta)=\left[-\frac{1}{m} \sum_{i=1}^{m} y^{(i)} \log \left(h_{\theta}\left(x^{(i)}\right)+\left(1-y^{(i)}\right) \log 1-h_{\theta}\left(x^{(i)}\right)\right]+\frac{\lambda}{2 m} \sum_{j=1}^{n} \theta_{j}^{2}\right.$