神經網絡基礎

人工神經網絡

人工神經網絡（Artificial Neural Network，ANN）是指一系列受生物學和神經學啓發的數學模型。這些模型主要是通過對人腦的神經元網絡進行抽象，構建人工神經元，並按照一定拓撲結構來建立人工神經元之間的連接，來模擬生物神經網絡。在人工智能領域，人工神經網絡也常常簡稱爲神經網絡（Neural Network，NN）或神經模型（Neural Model）。

神經元

人工神經元（Artificial Neuron），簡稱神經元（Neuron）也叫感知器，是構成神經網絡的基本單元，其主要是模擬生物神經元的結構和特性，接受一組輸入信號產出輸出。

生物學家在20世紀初就發現了生物神經元的結構。一個生物神經元通常具有多個樹突和一條軸突。樹突用來接受信息（輸入層），軸突用來發送信息（輸出層）。當神經元所獲得的輸入信號的積累超過某個閾值時（激活函數），它就處於興奮狀態，產生電脈衝。軸突尾端有許多末梢可以給其他個神經元的樹突產生連接（突觸），並將電脈衝信號傳遞給其它神經元。

一個神經元（感知器）有如下組成部分：

輸入權值 一個感知器可以接收多個輸入 $(x_{1},x_{2},...,x_{d}| x_{i}\epsilon \mathbb{R})$ ，每個輸入上有一個權值 $\omega _{i}\epsilon \mathbb{R}$ ，此外還有一個偏置項 $b\epsilon \mathbb{R}$ ，就是上圖中的。
激活函數 感知器的激活函數可以有很多選擇，比如我們可以選擇下面這個階躍函數來作爲激活函數：
輸出感知器的輸出由這個公式來計算 $y=f(\omega \cdot x+b)$

激活函數

激活函數在神經元中非常重要的。爲了增強網絡的表示能力和學習能力，激活函數需要具備以下幾點性質：

連續並可導（允許少數點上不可導）的非線性函數。可導的激活函數可以直接利用數值優化的方法來學習網絡參數。
激活函數及其導函數要儘可能的簡單，有利於提高網絡計算效率。
激活函數的導函數的值域要在一個合適的區間內，不能太大也不能太小，否則會影響訓練的效率和穩定性。

常見的激活函數有sigmoid、tanh、relu，

推薦文章：26種神經網絡激活函數可視化，英文鏈接

前饋神經網絡

前饋神經網絡

一個生物神經細胞的功能比較簡單，而人工神經元只是生物神經細胞的理想化和簡單實現，功能更加簡單。要想模擬人腦的能力，單一的神經元是遠遠不夠的，需要通過很多神經元一起協作來完成複雜的功能。這樣通過一定的連接方式或信息傳遞方式進行協作的神經元可以看作是一個網絡，就是神經網絡。目前最常見的神經網絡結構有三種：前饋網絡、反饋網絡、圖網絡。本次只講前饋網絡。

前饋網絡中各個神經元按接受信息的先後分爲不同的組。每一組可以看作一個神經層。每一層中的神經元接受前一層神經元的輸出，並輸出到下一層神經元。整個網絡中的信息是朝一個方向傳播，沒有反向的信息傳播，可以用一個有向無環路圖表示。前饋網絡包括全連接前饋網絡和卷積神經網絡等。

前饋神經網絡的目的是對於輸入，假設我們要模擬從輸入到輸出的真實函數，神經網絡想要找到這樣的映射和合適的參數使得其預測儘量接近於真實函數。