神经网络是进行机器学习的方式之一，也是目前使用最广泛的方式。
机器学习的目的是根据已有的数据来预测未知的结果。
通过已有的数据建立模型，在模型下进行预测，模型的可靠性决定预测结果的准确率。
如何建立更优的模型，是机器学习主要关注的问题。
神经网络模拟人脑处理数据的过程，将数据作为输入，每一层对数据的处理类比为神经元之间信息的加工传递。
当使用机器学习来解决具体任务时，机器并不了解原始数据的哪几项特征对于预测有效。一般需要对数据预处理，将干扰信息除去；提取有效特征；对特征进行再加工，降维或升维。
对于不同特征，它对于结果的影响有大有小，用权重w表示。
对于一组特征值的输入，其结果是否有效，需要一个统一标准来衡量；举个例子：a认为70分是优秀，而b认为70分是良好，需要统一标准来衡量判断标准70分。这在神经网络中用偏差值b来表示，反应了阈值高低。
预测结果与真实值存在差异，差异的大小用损失函数来进行计算。基本的损失函数有0-1函数（即非黑即白）；也有平方损失函数，对两者差值进行计算。无论何种损失函数，其目的都是用来衡量模型与真实值的差异。
参数：参数是模型定义的变量，体现为模型使用的标准。比如，参数规定几个数据分为一组；规定迭代次数；规定每次移动的步长等等。
超参数：可以理解为参数的参数，控制模型参数分布的参数。
通过机器学习获得的模型，是在训练数据中最优解的一组解。在寻找最优解的过程中，有许多算法。比如基于贪心的梯度下降法（每次向最快下降的方向移动）
偏差：是指一个模型总体和最优的差异。（大方向准不准）
方差： 是指不同训练集间的差异，可以用来衡量一个模型是否容易过拟合（小部队齐不齐）
当偏差较大时，是模型出了问题，可以增加特征，提高复杂度修改模型
当方差较大时，是拟合出了问题，可以降低模型复杂度
机器学习算法：
监督式学习：
每个样本都有标签，说明了特征与结果的关系
无监督学习：
没有标签，自动学习有效信息
强化学习：
交互式进行学习，不需要对输入输出明显规定
激活函数：
不使用激活下，比如y=aw+b 其结果是线性的，在二维表示中为一条直线
激活函数对于输出结果进行处理。
对于线性计算的结果，通过激活函数将其映射到对应点，在二维中表示为一条曲线。可以理解为将直线进行扭曲。
梯度与方向导数：
方向导数：函数沿某一方向的变化快慢
梯度：一个向量，其方向上的方向导数最大，某一点梯度的模等于该点的最大方向导数
正向模式与反向模式：
优化算法中，寻求最优解需要计算梯度，一般采用链式求导法则进行计算，
正向传播自下向上进行计算，即先计算第一层再计算第二层，再计算第三层，最后得到结果。
反向模式：先通过正向遍历计算图求出每个节点的值，然后通过反向遍历整个图，计算出每个节点的偏导