机器学习之对数机率回归理解

对数机率回归不是回归,是分类。

1.对数机率回归的形式  由线性回归的y=WX转化为  y_pre=sigmoid(WX)即是对数机率回归

2.对数机率回归的名字来由(对数机率优化的本质):

    2.1由于上述1中的优化目标是希望预测y_pre=即sigmoid(WX)尽可能等于分类标记y

    2.2由sigmoid函数可以得到,即希望WX尽可能等于ln(y/(1-y))。

    2.3由于预测目标y为1时是正例,y为0时是负例,因此y的值可以视为样本为正例的概率,同时1-y即可以视为样本为负例的概率。

    2.4另y/(1-y)即正例概率与负例概率的比值(一个相对概率),通常称为机率,而ln(y/(1-y))则称为对数机率概率

    综合2.2、2.4说明对数机率回归的目标是使WX尽可能等于对数机率,这就是对数机率回归名字的来由。

3.如何进行具体的最优化

    3.1对于任意样本,预测值为正例的概率为sigmoid(WX),预测值为负例的概率为1-sigmoid(WX)

    3.2我们希望对于正例,我们希望最大化预测值为正例的概率sigmoid(WX),对于负例,我们希望最大化预测值为负例的概率1-sigmoid(WX),综合我们希望最大化 Z=y*sigmoid(WX)+(1-y)*(1-sigmoid(WX)).也可以写成y*y_pre+(1-y)*(1-y_pre)

    3.3通过梯度下降法和牛顿法可以进行基于该损失函数的优化

注:3.2中的损失函数也可以使用其他损失函数如mae、mse代替。即Z=mse(y,y_pre)

   

    

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章