Neural(牛肉) networks是模擬人體神經元的模型，其輸入輸出類似神經元：
每個樹突都類似輸入值的一個特徵，細胞核類似隱藏層中的激活函數，軸突就是輸出值，其中也包含一個激活函數，最後末梢就是最後分類的結果。
M-P神經元：
神經元接收到來自n個其他神經元傳遞過來的輸入信號，這些輸入信號通過帶權重的鏈接(connection)進行傳遞，神經元接受到的總輸入值講與神經元的閾值進行比較，然後通過activation function處理裏產生神經元的輸出。
感知機 Perceptron
有兩層神經元組成，輸入層接受外界輸入信號後傳遞給輸出層，輸出層是M-P神經元，即“與之邏輯單元”。
感知機容易實現邏輯與，或，非運算。給定訓練數據集，權重wi(i=1,2,…,n)以閾值sita可以通過學習得到。閾值sita可以看作一個固定輸入爲-1.0的啞節點（dummy node）所對應的鏈接權重wn+1，這樣權重和閾值的學習統一爲權重的學習。感知機的學習規則簡單：
使誤差最小。
由於感知機只有一層功能神經元(functional neuron)，所以學習能力有限，無法解決非線性問題。
要解決非線性問題，需要使用多層功能神經元。在輸出層與輸入層之間添加一層神經元，即隱含層（hidden layer), hidden layer和out layer都是擁有activation function的functional neuron
常見的神經網絡如下：
每層神經元與下一層神經元全互聯，神經元之間不存在同層連接，也不存在跨層連接。這樣的神經網絡結構通常成爲“多層前饋神經網絡"(multi-layer feedforward neural networks)
輸入層神經元接收外界輸入，hidden layer和out layer對信號加工，最終由out layer 輸出。只要包含hidden layer即可成爲多層網絡。神經網絡的學習過程，就是根據訓練數據來調整神經元之間的連接權以及每個功能神經元的閾值。
誤差逆傳播算法
error BackPropagation BP算法常用的學習算法，迄今最成功的學習算法
經證明，只需一個包含足夠多神經元的隱層，多層前饋網絡就能以任意精度逼近任意複雜度的連續函數。
由於其強大的表示能力，BP神經網絡經常遭遇過擬合，其訓練