逻辑回归相关公式
逻辑回归预测公式：
z = w(T) x + b
sigmoid激活函数：
y' = a = 𝝈(z)
𝝈(x) = 1/(1-e^(-z))
损失函数：
L(a,y) = -( ylog(a) + (1-y) * log(1-a) )
对最终函数（损失函数L）求偏导结果
- 损失函数L 对 激活函数a 求偏导：
da = dL/da = -(y/a) + (1-y)/(1-a)
- ① sigmoid 对 预测结果z 求偏导：
da/dz= a(1-a)
- ② 损失函数 对 预测结果z 求偏导：
dz = dL/dz = da * a(1-a) = a-y
- 损失函数L 对 权重w、阈值b求偏导（其中
i表示第i个样本）
dw(i) = dL/dw(i) = dz * x(i)
db= dl/db = dz
具体求导过程如下：
