深度学习笔记：什么是神经网络

定义

人工神经网络（英语：Artificial Neural Network，ANN），简称神经网络（Neural Network，NN）或类神经网络，在机器学习和认知科学领域，是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统，通俗的讲就是具备学习功能。现代神经网络是一种非线性统计性数据建模工具。

由定义可以得知，人工神经网络是一种统计模型，一个神经化的统计模型应该具有以下特征：

• 具有一组可以被调节的权重（被学习算法调节的数值参数）
• 可以估计输入数据的非线性函数关系

权重可以看作是生物学中突触与神经元之间的连接强度。

神经元

• a1~an是输入向量的各个分量
• w1~wn是连接神经元的各个突触的权重
• b是偏置
• f是激活函数
• y是神经元的输出

这个神经元的数学表达式为：$\mathit{y=f（\vec{w}\vec{A}+b）}$
可见，一个神经元的功能是求得输入向量与权向量的内积后，经一个非线性传递函数得到一个标量结果。单个神经元的作用就是把一个n维向量空间用一个超平面分割成两部分（称之为判断边界），给定一个输入向量，神经元可以判断出这个向量位于超平面的哪一边。

神经网络

单层神经元网络

单层神经元网络是最基本的神经网络形式

神经网络的输出是一个多维的向量，维数等于神经元的数目

多层神经元网络

多层神经元网络有以下基本结构组成

• 输入层（Input layer），众多神经元（Neuron）接受大量非线形输入消息。输入的消息称为输入向量。
• 输出层（Output layer），消息在神经元链接中传输、分析、权衡，形成输出结果。输出的消息称为输出向量。
• 是输入层和输出层之间众多神经元和链接组成的各个层面。隐层可以有一层或多层。隐层的节点（神经元）数目不定，但数目越多神经网络的非线性越显著，从而神经网络的强健性（robustness）（控制系统在一定结构、大小等的参数摄动下，维持某些性能的特性）更显著。习惯上会选输入节点1.2至1.5倍的节点。