前言:這章主要介紹logistic迴歸和bayes法。兩者都屬分類,前者引入了logistic函數,後者引入了貝葉斯定理,都是比較基礎的數學知識。
但是logistic無需先驗的訓練樣本,後者需要。
貝葉斯法很強大,很多郵件、網頁篩選都有用到,這裏只介紹樸素bayes法。理解其關鍵在於應用中條件概率的提取。
引用《機器學習》上的一句話:
“在特定前提下,任一學習算法如果使輸出的假設預測和訓練數據之間的誤差平方最小化,它將輸出一極大似然假設。”
正文:
後續:對於logistic迴歸,最後梯度下降法計算最小J(x)詳細解法可見參考資料1.
Logistic迴歸就是要學習得到,使得正例的特徵遠大於0,負例的特徵遠小於0,強調在全部訓練實例上達到這個目標
對於bayes法,例題見參考資料2.
參考資料:1.logistic迴歸,講的很詳細