机器学习算法总结——logistic regression

定义

• 解决二分类问题
• $\hat{y}=\frac{1}{1+e^{-z}}$，此函数也成为Sigmoid函数，z = $\theta^{T}X$

代价函数

• $L=-ylog\hat{y}-(1-y)log(1-\hat{y})$，y为实际值，$\hat{y}$为预测值
• 损失转化为分段函数，即为 $L= \left\{\begin{matrix} -log(\hat{y}), y=1 \\ -log(1-\hat{y}),y=0 \end{matrix}\right.$

梯度下降求得最优解

• $\theta _{j}-\alpha \sum_{1}^{m}(\hat{y}-y)x_{j}\rightarrow \theta _{j}$