深度學習筆記（二）——感知器·補充知識點（算法概念）

                         QQ:3020889729                                                                                 小蔡

線性可分與線性不可分問題

線性可分問題

線性不可分問題

step激活函數

對應一般表達式： 即，輸入對應的輸出要麼是0，要麼是1。

sigmoid激活函數

sigmoid激活函數

$f\left( u \right) = \frac{1}{{1 + {{\rm{e}}^{ - u}}}}$

$u = \sum {w_i}{x_i}$ （${\rm{i}} = 1,2,4 \cdots N$）

$u$越大，$f\left( u \right)$的值越接近1。

誤差修正學習法

概念：
將輸入對應的實際輸出$y$於期望輸出$r$進行比較，計算誤差，進而調整權重${\omega _i}$和閾值$h$。

方法基本表示如下：

修正參數	表達形式
權重	${\omega _i} \leftarrow {\omega _i}{\text{ + }}\alpha (r{\text{ - }}y){x_i}$
閾值	$h \leftarrow h - \alpha \left( {r - y} \right)$
$\alpha {}$	確定連接權重調整值$\Delta {\omega _i}$的參數（修正率或者學習率）

運行方式講解：（①實際輸出與期望輸出不相等的情況與②相等的情況兩種運行方式）

1. 當$y$=$r$時，${\omega _i}$和$h$均不變。
2. 當$y$！=$r$時，${\omega _i}$和$h$發生如下變化：

未激活狀態：$y$=0， $r$=1

參數	趨勢
$h$	減小
${x_i}$=1的連接權重${\omega _i}$	增大
${x_i}$=0的連接權重${\omega _i}$	不變

激活過度狀態：$y$=1， $r$=0

參數	趨勢
$h$	增大
${x_i}$=1的連接權重${\omega _i}$	減小
${x_i}$=0的連接權重${\omega _i}$	不變

誤差反向傳播算法

梯度下降法（最值下降）

在誤差反向傳播算法中，採用梯度下降算法來實現權重的調整——即$\nabla u$。
概念：
該算法通過求解當前$u$的梯度（偏導），得到當前最大變化率（理解成曲線的最大斜率也可以）。然後根據所求的梯度值，來調整權重——$\Delta \omega = - \eta \frac{{\alpha E}}{{\alpha {w_i}}}$。

誤差反向傳播算法簡提

簡單講一下，該算法的思路——具體的算法過程後期整理後補上。

誤差反向傳播算法起始於多層感知機，後來被用到卷積神經網絡等多層網絡結構中——所以在這個算法過程中，誤差很重要。誤差在最後的輸出層計算得出（一般採用最小二乘法求誤差），然後反過來往下傳遞，進行相關參數（${\omega _i}$，$h$）修正。

補充：
由輸出層往下傳遞誤差E時，計算的權重變化值存在以下情況：
下一層的權重計算會受到上一層權重變化值影響。