邏輯迴歸LR是機器學習中一種主流的分類模型，主要用於二分類問題。
在這之前，線性迴歸多用來解決迴歸和分類問題，但是在分類問題中表現不佳，其輸出值是不確定範圍的。
LR將線性迴歸模型不確定範圍的輸出值通過Sigmod函數映射到（0,1）之間，即伯努利分佈。
確定LR的數學形式之後，一般通過最大似然估計來求解模型的參數，即找到一組參數使得輸出概率最大。一般通過梯度下降法求解最優解。加入正則項後LR是嚴格的凸函數，一定存在全局最優解。
將Sigmod函數換成Softmax函數便可解決多分類問題，計算每個目標類別在所有可能目標類別中的概率。
無論是二分類還是多分類問題計算Loss都用交叉熵CE，交叉熵用來描述兩個概率分佈之間的距離。
補充：Sigmod函數定義域爲全實數值，輸出爲（0,1）之間。用作激活函數和二分類問題。
補充：Softmax函數計算多個不同事件的概率分佈，用來解決多分類問題。
補充：相對熵又稱KL散度，用來描述當前編碼相對最優編碼多出來的Bit數，KL散度最小化又稱爲似然比最大化，常用在變分自編碼器和變分貝葉斯中。