線性迴歸與邏輯迴歸有什麼區別 ?—— 神經網絡入門

在談線性迴歸與邏輯迴歸前,我們先聊聊什麼是迴歸吧?

我們可以認爲數據樣本的所有數據都是具有一定關係的,其符合一定的分佈規律。或者說我們可以將數據想象成各種曲線。而回歸的作用就是確定這些曲線。所以我們可以根據這些確定的曲線,去預測更多數據的分佈趨勢。
所以我們常說:迴歸就是一種擬合數據的方法。

在迴歸中又分爲線性迴歸和邏輯迴歸:

  • 線性迴歸是預測輸入到輸出的線性變換,其很難擬合非線性的數據
  • 線性迴歸預測的結果值的範圍在(-∞,+∞),而很多時候我們需要我們預測的結果是一個定性值,並非一個具體值。比如處理分類問題時,我們常將圖片的預測值定義在(0,1)之間。
  • 在線性迴歸的基礎上引入邏輯迴歸是爲了處理分類問題。其中最爲經典的就是二分類問題。
        所有分類的本質都在於:在空間內找到一個決策邊界來完成分類。線性迴歸擅長於預測連續數據,但是它並不適合預測的原因在於其預測值的定義域。
        如果一個值在(-∞,+∞)之間,我們如何去判斷其屬於那個類呢?我們如何將其去解析爲一個概率值呢?
        顯然我們需要一個決策函數,可以將(-∞,+∞)映射到(0,1),這樣最後得出來的預測值就更像一個分類的概率了吧。當其爲 0.1時,表示它小概率屬於正樣本;當其爲0.8時,表示它大概率數據正樣本。

  • 邏輯迴歸的決策函數 ?
    邏輯迴歸的決策函數有很多,但是最經典的當屬:
    ①Sigmoid函數;
        將一個單一數值映射到0-1之間。
    例子:
    在這裏插入圖片描述

    ②Softmax函數;
        softmax 的輸出表徵了不同類別之間的相對概率,且相對概率之和爲1。所以其本質就是將一個K 維的任意實數向量壓縮(映射)成另一個K。
        softmax函數是sigmoid函數的多維形式,參數不是單個變量而是多維向量
    其中sigmoid函數主要用於進行二分類,softmax主要解決多分類任務。

    附上我即將要寫的一篇文章 決策函數 來詳細介紹決策函數及分類的由來和分類原理(貝葉斯決策理論)

    事實上我們通過使用決策函數將線性迴歸的結果壓縮到0到1之間。也就是說本來擬合的值現在映射在0-1之間,那我們就可以取0-1之間的某個值作爲閾值來進行二分類。

  • 線性迴歸假設因變量 y 服從 高斯分佈(正態分佈)。
    因爲在大多數情況下,我們無法預知未知事件的概率分佈,所以我們只能選擇正態分佈。因爲它是所有概率分佈中最可能的表現形式。

    邏輯迴歸假設因變量 y 服從伯努利分佈
    因爲邏輯迴歸的最終結果是爲二點分佈或多點分佈,爲0 或 1。

這裏我們給大家提供一個例子,大家可以去打印出邏輯迴歸的各個過程。

示例:病人腫瘤預測

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章