神经网络优化的方法-梯度、超参数

一：使用正则化技巧提高模型的泛化能力

常用的正则化方法如下所示：

• L1、L2 正则化
• dropout 正则化
• Data Augmentation 增加训练样本
• Early stopping 选择合适的迭代训练次数

二：梯度优化

常用的梯度优化方法如下：

• 梯度下降

• 随机梯度下降 (SGD)

• 动量梯度下降 (Momentum GD)

• AdaGrad

• RMSprop

• Adam

三：网络初始化技巧和超参数调优

• 超参数的调试：
  • 学习因子 α
  • 动量梯度下降因子 β
  • Adam 优化算法参数 β1、β2、ε
  • 神经网络层数
  • 各隐藏层神经元个数
  • 学习因子下降参数
  • 批量训练样本包含的样本个数
  • L1、L2 正则化系数 λ