在学习Logistic逻辑回归算法（上一节介绍）编程时，被其中一句python语句卡住了，该语句就是:
weights = weights + alpha * dataMatrix.transpose() * error
让我们来顺一下。
首先，是二分类算法，类别为1或0，利用sigmoid函数很合适
令：
整合得：
当sigmoid>0.5时，分类为1，sigmoid<0.5时，分类为0。其函数值在（0,1）之间，又恰和概率巧妙联系上，
解释：
函数的值为(0, 1），当h>0.5时，y=1，该值也可以为y=1的概率，概率大于0.5当然比较大，基本可以确定成立（即y=1）；概率小于0.5时，概率比较小y=1不成立，当然h<0.5本来就是类别y=0，正好概率1-h，为类别为0的概率。
上面两个式子合并即损失函数：
解释：当类别为1时，即y=1，Loss=h，当类别为0时，即y=0，Loss=1-h。
梯度上升（下降）法，就是为了使得损失函数最大或最小，从而找到最优参数。
最大还是最小呢？例如h=0.55和h=0.99，都有y=1。既然是概率，当然越大越好，所有这里要求Loss的最大值。
很多提到了最大对数似然函数。
似然函数定义：给定输出x时，关于参数W的似然函数L(W|x)（在数值上）等于给定参数W后变量X的概率：
似然函数用于在已知某些观测所得到的的结果时，对有关事物的性质的参数进行估计。与概率相反，概率用于在已知一些参数的情况下，预测接下来的观测所得到的结果。
似然函数就是求参数的。
似然函数的重要性不是它的具体取值，而是当参数变化时函数到底变小还是变大。对同一个似然函数，如果存在一个参数值，使得它的函数值达到最大的话，那么这个值就是最合理的参数值。
最大似然函数就是求似然函数的最大值，使得参数最合理。
所以一般将最大似然函数作为梯度上升算法的损失函数。
上面的Loss损失函数也正是最大似然函数（使概率最大）。只不过损失函数的变量是W，W是未知的需要求解的。
现在转为求Loss最大的最优解W。
梯度上升法可以求最大值。初始化一个点，求各W各方向的偏导数，即梯度。沿着梯度上升方向走（步长a），到达另一个点，继续沿梯度上升方向（重新计算）走，一直循环……
由于需要求未知参数的偏导数，而对数函数第单调递增的，而且对数函数在极大化求解时较为方便，所以一般取似然函数的对数作为求最大值的函数，这样求出的最大值和直接求最大值得到的结果是相同的。
所以对Loss函数求对数，得：
现在好了，目标是对Loss求最大，先求梯度：
求解过程：
所以梯度向量为：
所以迭代为：
即weights = weights + alpha * dataMatrix.transpose() * error
dataMatrix.transpose()即为X，error即为
以上为粗略的解释，如有不对请指出。