Neural(牛肉) networks是模拟人体神经元的模型，其输入输出类似神经元：
每个树突都类似输入值的一个特征，细胞核类似隐藏层中的激活函数，轴突就是输出值，其中也包含一个激活函数，最后末梢就是最后分类的结果。
M-P神经元：
神经元接收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的链接(connection)进行传递，神经元接受到的总输入值讲与神经元的阈值进行比较，然后通过activation function处理里产生神经元的输出。
感知机 Perceptron
有两层神经元组成，输入层接受外界输入信号后传递给输出层，输出层是M-P神经元，即“与之逻辑单元”。
感知机容易实现逻辑与，或，非运算。给定训练数据集，权重wi(i=1,2,…,n)以阈值sita可以通过学习得到。阈值sita可以看作一个固定输入为-1.0的哑节点（dummy node）所对应的链接权重wn+1，这样权重和阈值的学习统一为权重的学习。感知机的学习规则简单：
使误差最小。
由于感知机只有一层功能神经元(functional neuron)，所以学习能力有限，无法解决非线性问题。
要解决非线性问题，需要使用多层功能神经元。在输出层与输入层之间添加一层神经元，即隐含层（hidden layer), hidden layer和out layer都是拥有activation function的functional neuron
常见的神经网络如下：
每层神经元与下一层神经元全互联，神经元之间不存在同层连接，也不存在跨层连接。这样的神经网络结构通常成为“多层前馈神经网络"(multi-layer feedforward neural networks)
输入层神经元接收外界输入，hidden layer和out layer对信号加工，最终由out layer 输出。只要包含hidden layer即可成为多层网络。神经网络的学习过程，就是根据训练数据来调整神经元之间的连接权以及每个功能神经元的阈值。
误差逆传播算法
error BackPropagation BP算法常用的学习算法，迄今最成功的学习算法
经证明，只需一个包含足够多神经元的隐层，多层前馈网络就能以任意精度逼近任意复杂度的连续函数。
由于其强大的表示能力，BP神经网络经常遭遇过拟合，其训练