- 如果用線性的激勵函數，其實輸出就是輸入乘上一個大的矩陣，就沒有體現出隱層的作用。輸出信號僅是一個簡單的線性函數。線性函數一個一級多項式，線性方程的複雜度有限，從數據中學習複雜函數映射的能力很小。沒有激活函數，神經網絡將無法學習和模擬其他複雜類型的數據，例如圖像、視頻、音頻、語音等。
- 非線性變換是深度學習有效的原因之一，激活函數可以引入非線性因素。現實中很多問題是不能用線性解決的，所以要用非線性方程來將問題轉化成更方便的解決方案。
- 激活函數可以把當前特徵空間通過一定的線性映射轉換到另一個空間，讓數據能夠更好的被分類。
Sigmoid
ReLU
tanh
Leaky ReLU
以上都是非線性激活函數
關於上面激活函數的詳情，移步：https://blog.csdn.net/fzp95/article/details/84946799