深度學習中三個重要對象（1）------激活函數

版權聲明：本文爲博主原創文章，未經博主允許不得轉載。 https://blog.csdn.net/gdh756462786/article/details/79108780

1.激活對象

     我們在定義網絡層時，使用什麼激活函數是很重要，通常有兩種方法來使用激活函數：

一是單獨定義一個激活層

               model.add(Dense(64,input_shape=(784,)))

               model.add(Activation('tanh'))

二是在前置層裏面通過激活選項來定義所需的函數

              model.add(Dense(64,input_shape=(784,),activation='tanh'))

                                        激活函數

softmax:也稱爲歸一化的指數函數，Softmax迴歸模型是logistic迴歸模型在多分類 問題上的推廣，在多分類問題中，待分類的類別數量大於2，且類別之間互斥。比如我們的網絡要完成的功能是識別0-9這10個手寫數字，若最後一層的輸出爲[0,1,0, 0, 0, 0, 0, 0, 0, 0]，則表明我們網絡的識別結果爲數字1。值域在（0，1）

softplus：值域在（0，INF）

softsign：值域在（-1，1）

relu:當參數小於0時，取值爲0，當參數大於等於0時，則保持參數值，值域在[0,inf)

tanh:雙曲正切函數，其值域在（-1，1）

sigmoid:邏輯函數

hard_sigmoid:多段線性函數

linear:線性激活函數