softmax迴歸與多層神經網絡模型
softmax迴歸與多層神經網絡都可以實現多分類器，兩種分類器的模型如下圖所示：
softmax迴歸
多層神經網絡
物理意義
根據圖示我們可以看到，多層神經網絡模型與迴歸模型，在原理上是相似的，都是構造線性模型，多層神經網絡只是在輸入層與輸出層之間添加了n個隱含層(n>=1)，添加隱含層的物理意義是什麼呢？
無論是softmax模型，還是多層神經網絡模型，都是構造線性模型，但是當輸入數據不是線性可分的，模型該怎麼預測結果呢？
線性可分數據，構造一個線性二分器即可把數據分開
線性不可分數據，需要構造多個二分類器對數據進行分類
多層神經網絡，可以認爲將原始輸入數據，在每一層隱含層上做了多個二分類，二分類的個數即爲該隱含層的神經元個數。如上圖所示，輸入數據的維度是2，即：x1和x2，對於此線性不可分的數據，可以做3個二分類器，即：y1、y2和y3，所以隱含層中有3個神經元。因此，對於線性不可分的數據來說，多層神經網絡比softmax迴歸效果理論上要好。
對於高維的數據，我們很難進行可視化，所以隱含層的層數以及每層中神經元的個數，只能通過多次訓練調整。
上面解釋了爲什麼多層神經網絡有多個隱含層。
另外，可以參考MIT deep learning的書籍，中間有一部分解釋的也很清楚，就是爲了讓線性不可分的數據變得線性可分：
作者：前進的小白
來源：CSDN
原文：https://blog.csdn.net/qq_22690765/article/details/75050943
版權聲明：本文爲博主原創文章，轉載請附上博文鏈接！