常用激活函數小總結

一，什麼是激活函數？爲什麼需要激活函數？

1，單個神經元網絡模型

上圖是一張比較簡明的單個神經元網絡模型，此模型$f$前的計算公式：
$z=\sum_{i=1}^{n} {w_i×x_i+b}=w×x+b$

這個模型是由防生學得來的，下面有一張單個神經元的圖片

神經元	計算機模擬
電信號（大小）	數值（大小）
樹突和軸突（粗細）	W與b
細胞體	激活函數

2，激活函數的來源

當所有出入信號經過W與b處理後，將所有的輸入信號求和，最終進入細胞，然後在輸出，而此時，只有細胞體的過程是未知的，激活函數就是模擬的細胞體的處理函數。
有了激活函數這個神經元的傳播纔算完整。

二，四種常用的激活函數與理解

1，Sigmod函數（非線性激活函數）

①數學公式：
$sigmoid(x)=\frac {1} {1+e^{-x}}$
②圖像：

③tensorflow中對應的函數：
tf.nn.sigmoid(x,name=None)
④特點：

1. 優點：將（-6，6）之間的輸入數據壓縮到0~1的輸出裏
2. 飽和：x越趨近於正或負無窮大，y越趨近於1或0
3. 缺點：在（-6，6）以外的數據會很大程度的失真

2，Tanh函數（非線性激活函數）

①數學公式：
$tanh(x)=2sigmoid(2x)-1$
②圖像：

③tensorflow中對應的函數：
tf.nn.tanh(x,name=None)
④特點：

1. 優點：值域爲（-1，1），比sigmoid的值域更廣
2. 缺點：易於飽和，輸入極限接近-3與3

3，ReLU函數

①數學公式：
$ReLU（x）=max(0,x)$
②圖像：

③tensorflow中對應的函數：
tf.nn.relu(features,name=None)
④特點：

1. 優點：只處理正信號，函數運算簡單
2. 缺點：副信號被忽略

4，Swish函數

①數學公式：
$swish（x）=x×sigmoid（\beta x）$
$\beta$爲$x$的縮放參數
②圖像：

③tensorflow中對應的函數：
tf.nn.swish()
④特點：

1. 優點：比ReLUctant函數效果好

三，激活函數的學習感想

• 現在馬上2020年了，我才學別人幾年前的知識，每天進步一點點，加油
• 科學家和發明家們從大自然中獲得的啓示令me震撼，從一個神經元就能漸漸發展成一門如此有用的學科

以上若有錯誤或不足歡迎批評指出，謝謝！