激活函數的作用
談到激活函數，必須要提到迴歸的問題，我們做線性迴歸的目的是爲了優化權重。由於每次輸入新的數據都要進行調整權重，做迴歸的主要目的是將目標特徵更明顯，將區別較大的噪聲排除掉。因此，我們引入了激活函數。由於在線性迴歸中要求輸入是可微的，也就是說要求輸入爲線性的，但現實的輸入往往是非線性的，加入激活函數不但具備去噪的作用，而且可以將非線性輸入變爲線性輸入。
主要類別：
tanh 雙切正切函數，取值範圍[-1,1]
sigmoid 採用S形函數，取值範圍[0,1]
ReLU 簡單而粗暴，大於0的留下，否則一律爲0。
此外：
