多層感知機、常見激活函數

3.8 多層感知機

xiaoyao 動手學深度學習 tensorflow2

前面學習了線性迴歸和softmax迴歸在內的單層神經網絡。然而深度學習主要關注多層模型。在本節中，將學習多層感知機（multilayer perceptron，MLP）。

3.8.1 隱藏層

多層感知機在單層神經網絡的基礎上引入了一個或多個隱藏層（hidden layer).隱藏層位於輸入層和輸出層之間。

如下圖所示：

上圖所示的多層感知機中，輸入和輸出個數分別爲4和3，中間的隱藏層中包含了5個隱藏單元（hidden unit）。由於輸入層不涉及計算，圖中的多層感知機的層數爲2。由圖可見，隱藏層中的神經元和輸入層中各個輸入完全連接，輸出層中的神經元和隱藏層中的各個神經元也完全連接。因此，多層感知機中的隱藏層和輸出層都是全連接層。

具體來說，給定一個小批量樣本$\boldsymbol{X} \in \mathbb{R}^{n \times d}$，其批量大小爲$n$，輸入個數爲$d$。假設多層感知機只有一個隱藏層，其中隱藏單元個數爲$h$。記隱藏層的輸出（也稱爲隱藏層變量或隱藏變量）爲$\boldsymbol{H}$，有$\boldsymbol{H} \in \mathbb{R}^{n \times h}$。因爲隱藏層和輸出層均是全連接層，可以設隱藏層的權重參數和偏差參數分別爲$\boldsymbol{W}_h \in \mathbb{R}^{d \times h}$和 $\boldsymbol{b}_h \in \mathbb{R}^{1 \times h}$，輸出層的權重和偏差參數分別爲$\boldsymbol{W}_o \in \mathbb{R}^{h \times q}$和$\boldsymbol{b}_o \in \mathbb{R}^{1 \times q}$。

先來看一種含單隱藏層的多層感知機的設計。其輸出$\boldsymbol{O} \in \mathbb{R}^{n \times q}$的計算爲

$\begin{aligned} \boldsymbol{H} &= \boldsymbol{X} \boldsymbol{W}_h + \boldsymbol{b}_h,\\ \boldsymbol{O} &= \boldsymbol{H} \boldsymbol{W}_o + \boldsymbol{b}_o, \end{aligned}\tag{式1}$

也就是將隱藏層的輸出直接作爲輸出層的輸入。如果將以上兩個式子聯立起來，可以得到

$\boldsymbol{O} = (\boldsymbol{X} \boldsymbol{W}_h + \boldsymbol{b}_h)\boldsymbol{W}_o + \boldsymbol{b}_o = \boldsymbol{X} \boldsymbol{W}_h\boldsymbol{W}_o + \boldsymbol{b}_h \boldsymbol{W}_o + \boldsymbol{b}_o.\tag{式2}$

從聯立後的式子可以看出，雖然神經網絡引入了隱藏層，卻依然等價於一個單層神經網絡：其中輸出層權重參數爲$\boldsymbol{W}_h\boldsymbol{W}_o$，偏差參數爲$\boldsymbol{b}_h \boldsymbol{W}_o + \boldsymbol{b}_o$。不難發現，即便再添加更多的隱藏層，以上設計依然只能與僅含輸出層的單層神經網絡等價。

3.8.2 激活函數

上述問題的根源在於全連接層只是對數據做仿射變換（affine transformation），而多個仿射變換的疊加仍然是一個仿射變換。解決問題的一個方法是引入非線性變換，例如對隱藏變量使用按元素運算的非線性函數進行變換，然後再作爲下一個全連接層的輸入。這個非線性函數被稱爲激活函數（activation function）。下面介紹幾個常用的激活函數。

3.8.2.1 ReLU函數

ReLU（rectified linear unit）函數提供了一個很簡單的非線性變換。
給定元素xx，該函數定義爲
$ReLU(x)=max(x,0).\tag{式3}$
可以看出，ReLU函數只保留正數元素，並將負數元素清零。爲了直觀地觀察這一非線性變換，我們先定義一個繪圖函數xyplot。

import tensorflow as tf
from matplotlib import pyplot as plt
import numpy as np
import random
%matplotlib inline

def use_svg_display():
    # 用矢量圖顯示
    %config InlineBackend.figure_format = 'svg'

def set_figsize(figsize=(3.5, 2.5)):
    use_svg_display()
    # 設置圖的尺寸
    plt.rcParams['figure.figsize'] = figsize

def xyplot(x_vals, y_vals, name):
    set_figsize(figsize=(5, 2.5))
    plt.plot(x_vals.numpy(), y_vals.numpy())
    plt.xlabel('x')
    plt.ylabel(name + '(x)')

接下來通過Tensor提供的relu函數來繪製ReLU函數。可以看到，該激活函數是一個兩段線性函數。

x = tf.Variable(tf.range(-8,8,0.1),dtype=tf.float32)
y = tf.nn.relu(x)
xyplot(x, y, 'relu')

顯然，當輸入爲負數時，ReLU函數的導數爲0；當輸入爲正數時，ReLU函數的導數爲1。儘管輸入爲0時ReLU函數不可導，但是我們可以取此處的導數爲0。下面繪製ReLU函數的導數。

with tf.GradientTape() as t:
    t.watch(x)
    y = tf.nn.relu(x)
dy_dx = t.gradient(y, x)
xyplot(x, dy_dx, 'grad of relu')

3.8.2.2 sigmoid函數

sigmoid函數可以將元素的值變換到0和1之間：
$\text{sigmoid}(x) = \frac{1}{1 + \exp(-x)}.\tag{式4}$

sigmoid函數在早期的神經網絡中較爲普遍，但它目前逐漸被更簡單的ReLU函數取代。在後面“循環神經網絡”中會介紹如何利用它值域在0到1之間這一特性來控制信息在神經網絡中的流動。下面繪製了sigmoid函數。當輸入接近0時，sigmoid函數接近線性變換。

# x

y = tf.nn.sigmoid(x)
xyplot(x, y, 'sigmoid')

據鏈式法則，sigmoid函數的導數

$sigmoid'(x)=sigmoid(x)(1−sigmoid(x))\tag{式5}$
下面繪製了sigmoid函數的導數。當輸入爲0時，sigmoid函數的導數達到最大值0.25；當輸入越偏離0時，sigmoid函數的導數越接近0。

with tf.GradientTape() as t:
    t.watch(x)
    y = tf.nn.sigmoid(x)
dy_dx = t.gradient(y, x)
xyplot(x, dy_dx, 'grad of sigmoid')

3.8.2.3 tanh函數

tanh（雙曲正切）函數可以將元素的值變換到-1和1之間：

定義如下：

$\text{tanh}(x) = \frac{1 - \exp(-2x)}{1 + \exp(-2x)}.\tag{式6}$
.
繪製tanh函數。當輸入接近0時，tanh函數接近線性變換。雖然該函數的形狀和sigmoid函數的形狀很像，但tanh函數在座標系的原點上對稱。

y = tf.nn.tanh(x)
xyplot(x, y, 'tanh')

依據鏈式法則，tanh函數的導數
$tanh′(x)=1−tanh^2 (x).\tag{式7}$

下面繪製了tanh函數的導數。當輸入爲0時，tanh函數的導數達到最大值1；當輸入越偏離0時，tanh函數的導數越接近0。

with tf.GradientTape() as t:
    t.watch(x)
    y = tf.nn.tanh(x)
dy_dx = t.gradient(y, x)
xyplot(x, dy_dx, 'grad of tanh')

3.8.3 多層感知機

多層感知機就是含有至少一個隱藏層的由全連接層組成的神經網絡，且每個隱藏層的輸出通過激活函數進行變換。多層感知機的層數和各隱藏層中隱藏單元個數都是超參數。以單隱藏層爲例並沿用本節之前定義的符號，多層感知機按以下方式計算輸出：
$\begin{aligned} \boldsymbol{H} &= \phi(\boldsymbol{X} \boldsymbol{W}_h + \boldsymbol{b}_h),\\\boldsymbol{O} &= \boldsymbol{H} \boldsymbol{W}_o + \boldsymbol{b}_o, \end{aligned}\tag{式8}$

其中$\phi$表示激活函數。在分類問題中，我們可以對輸出O做softmax運算，並使用softmax迴歸中的交叉熵損失函數。 在迴歸問題中，我們將輸出層的輸出個數設爲1，並將輸出O直接提供給線性迴歸中使用的平方損失函數。

• 小結
  多層感知機在輸出層與輸入層之間加入了一個或多個全連接隱藏層，並通過激活函數對隱藏層輸出進行變換。
  常用的激活函數包括ReLU函數、sigmoid函數和tanh函數。