關於多元線性迴歸，主要理解兩個概念：softmax和交叉熵損失函數：
一、softmax的基本概念：
1.分類問題
一個簡單的圖像分類問題，輸入圖像的高和寬均爲2像素，色彩爲灰度。圖像中的4像素分別記爲x1, x2, x3, x4。假設真實標籤爲狗、貓或者雞，這些標籤對應的離散值爲y1, y2, y3。我們通常使用離散的數值來表示類別，例如y1=1, y2=2, y3=3。
2.權重矢量
3. 神經網絡圖
下圖用神經網絡圖描繪了上面的計算。softmax迴歸同線性迴歸一樣，也是一個單層神經網絡。由於每個輸出o1, o2, o3
的計算都要依賴於所有的輸入x1, x2, x3, x4，softmax迴歸的輸出層也是一個全連接層。
softmax迴歸是一個單層神經網絡
既然分類問題需要得到離散的預測輸出，一個簡單的辦法是將輸出值oi
當作預測類別是i的置信度，並將值最大的輸出所對應的類作爲預測輸出，即輸出 argmax（oi）。例如，如果o1,o2,o3分別爲
0.1, 10, 0.1，由於o2最大，那麼預測類別爲2，其代表貓。
4. 輸出問題
直接使用輸出層的輸出有兩個問題：
1) 一方面，由於輸出層的輸出值的範圍不確定，我們難以直觀上判斷這些值的意義。例如，剛纔舉的例子中的輸出值10表示“很置信” 圖像類別爲貓，因爲該輸出值是其他兩類的輸出值的100倍。但如果o1=o3=10^3，那麼輸出值10卻又表示圖像類別爲貓的概率很低。
2) 另一方面，由於真實標籤是離散值，這些離散值與不確定範圍的輸出值之間的誤差難以衡量。
softmax運算符（softmax operator）解決了以上兩個問題。它通過下式將輸出值變換成值爲正且和爲1的概率分佈：
其中
二、交叉熵損失函數：
下面是根據知乎的一篇文章進行的整理，由於平臺的latex好像不支持中文，所以直接將自己筆記的截圖放上來了，希望對大家的理解有幫助。可查看詳解：https://zhuanlan.zhihu.com/p/35709485
