23種激活函數

一、簡介

   一個節點的激活函數(Activation Function)定義了該節點在給定的輸入或輸入的集合下的輸出。神經網絡中的激活函數用來提升網絡的非線性（只有非線性的激活函數才允許網絡計算非平凡問題），以增強網絡的表徵能力。對激活函數的一般要求是：必須非常數、有界、單調遞增並且連續，並且可導。
  在實際選擇激活函數時並不會嚴格要求可導，只需要激活函數幾乎在所有點可導即可，即在個別點不可導是可以接受的。另外，其導數儘可能的大可以幫助加速訓練神經網絡，否則導數過小會導致網絡無法繼續訓練下去。

二、激活函數種類

  下面是不同的激活函數的函數公式，圖像和導數公式，圖像。

1、恆等函數

$f(x)=x \qquad\qquad\qquad f^{'}(x)=1$

2、單位階躍函數

$f(x)=\left\{\begin{array} {ll} 0,x < 0\\1,x\ge 0 \end{array}\right.\qquad\qquad f^{'}(x)=\left\{\begin{array} {ll} 0,x \ne 0\\?,x= 0 \end{array}\right.$

3、邏輯函數

$f(x)=\sigma(x)=\frac{1}{1+e^{-x}}\qquad\qquad f^{'}(x)=f(x)(1-f(x))$

4、雙曲正切函數

$f(x)=tanh(x)=\frac{(e^x-e^{-x})}{e^x+e^{-x}}\qquad \qquad f^{'}(x)=1-f(x)^2$

5、反正切函數

$f(x)=tan^{-1}(x)\qquad\qquad f^{'}(x)=\frac{1}{x^2+1}$

6、Softsign函數

$f(x)=\frac{x}{1+|x|}\qquad\qquad f^{'}(x)=\frac{1}{(1+|x|)^2}$

7、反平方根函數(ISRU)

$f(x)=\frac{x}{\sqrt{1+\alpha x^2}}\qquad \qquad f^{'}(x)=(\frac{1}{\sqrt{1+\alpha x^2}})^3$

8、線性整流函數(ReLU)

$f(x)= \left\{\begin{array}{ll}0,x<0\\x,x\ge 0 \end{array}\right.\qquad\qquad f^{'}(x)=\left\{\begin{array}{ll}0,x<0\\1,x\ge 0 \end{array}\right.$

9、帶泄露線性整流函數(Leaky ReLU)

$f(x)= \left\{\begin{array}{ll}0.01x,x<0\\x,x\ge 0 \end{array}\right.\qquad\qquad f^{'}(x)=\left\{\begin{array}{ll}0.01,x<0\\1,x\ge 0 \end{array}\right.$

10、參數化線性整流函數(PReLU)

$f(x)= \left\{\begin{array}{ll}\alpha x,x<0\\x,x\ge 0 \end{array}\right.\qquad\qquad f^{'}(x)=\left\{\begin{array}{ll}\alpha,x<0\\1,x\ge 0 \end{array}\right.$

11、帶泄露隨機線性整流函數(RReLU)

$f(x)= \left\{\begin{array}{ll}\alpha x,x<0\\x,x\ge 0 \end{array}\right.\qquad\qquad f^{'}(x)=\left\{\begin{array}{ll}\alpha,x<0\\1,x\ge 0 \end{array}\right.$

12、指數線性函數(ELU)

$f(x)= \left\{\begin{array}{ll}\alpha(e^x-1),x<0\\x,x\ge 0 \end{array}\right.\qquad\qquad f^{'}(x)=\left\{\begin{array}{ll}f(\alpha,x)+\alpha,x<0\\1,x\ge 0 \end{array}\right.$

13、擴展指數線性函數(SELU)

$\begin{aligned} f(x)=\lambda \left\{\begin{array}{ll}\alpha(e^x-1),x<0\\x,x\ge 0 \end{array}\right. \\ \lambda=1.0507,\alpha=1.67326 \end{aligned} \qquad\qquad f^{'}(x)=\lambda \left\{\begin{array}{ll}\alpha(e^x),x<0\\1,x\ge 0 \end{array}\right.$

14、S型線性整流激活函數(SReLU)

$\begin{aligned} f_{t_l,a_l,t_r,a_r}(x)=\left\{\begin{array} {ll} t_l+a_l(x-t_l),x\le t_l\\ x,t_l<x<t_r\\ t_r+a_r(x-t_r),x\ge t_r \end{array}\right.\\ t_l,a_l,t_r,a_r爲參數 \end{aligned}\qquad\qquad f_{t_l,a_l,t_r,a_r}^{'}(x)=\left\{\begin{array} {ll} a_l,x\le t_l\\ 1,t_l<x<t_r\\ a_r,x\ge t_r \end{array}\right.$

15、反平方根線性函數(ISRLU)

$f(x)= \left\{\begin{array}{ll}\frac{x}{\sqrt{1+\alpha x^2}},x<0\\x,x\ge 0 \end{array}\right.\qquad\qquad f^{'}(x)=\left\{\begin{array}{ll}(\frac{1}{\sqrt{1+\alpha x^2}})^3,x<0\\1,x\ge 0 \end{array}\right.$

16、自適應分段線性函數(APL)

$f(x)=max(0,x)+\sum_{s=1}^{S}a^s_{i}max(0,-x+b^s_i)\qquad\qquad f^{'}(x)=H(x)-\sum^{S}_{s=1}a^s_iH(-x+b^s_i)$

17、SoftPlus函數

$f(x)=\ln(1+e^x) \qquad\qquad f^{'}(x)=\frac{x}{2\sqrt{x^2+1}}+1$

18、彎曲恆等函數

$f(x)=\frac{\sqrt{x^2+1}-1}{2}+x\qquad\qquad f^{'}(x)=\frac{x}{2\sqrt{x^2+1}}+1$

19、Sigmoid Weighted Liner Unit(SiLU)

$f(x)=x\cdot \sigma(x) \qquad\qquad f^{'}(x)=f(x)+\sigma(x)(1-f(x))$

20、SoftExponential

$f(x)= \left\{\begin{array} {ll} -\frac{ln(1-\alpha(x+\alpha))}{\alpha}, \alpha < 0\\ x,\alpha=0\\ \frac{e^{\alpha x}-1}{\alpha},\alpha >0 \end{array}\right. \qquad\qquad f^{'}(x)=\left\{\begin{array} {ll} \frac{1}{1-\alpha(\alpha+x)},\alpha < 0\\ e^{\alpha x},\alpha \ge 0 \end{array}\right.$

21、正弦函數

$f(x)= sin(x)\qquad\qquad f^{'}(x)=cos(x)$

22、Sinc函數

$f(x)=\left\{\begin{array} {ll} 1,x=0 \\ \frac{sin(x)}{x},x\ne 0 \end{array}\right.\qquad \qquad f(x)=\left\{\begin{array} {ll} 0,x=0 \\ \frac{cos(x)}{x}-\frac{sin(x)}{x},x\ne 0 \end{array}\right.$

23、高斯函數

$f(x)=e^{-x^2} \qquad\qquad f^{'}(x)=-2xe^{-x^2}$