1、深度学习中的优化
1.1、优化
优化方法目标:训练集损失函数值
深度学习目标:测试集损失函数值(泛化性)
1.2、优化在深度学习中的挑战
- 局部最小值
- 鞍点
- 梯度消失
1.2.1、鞍点
x = np.arange(-2.0, 2.0, 0.1)
fig, = d2l.plt.plot(x, x**3)
fig.axes.annotate('saddle point', xy=(0, -0.2), xytext=(-0.52, -5.0),
arrowprops=dict(arrowstyle='->'))
d2l.plt.xlabel('x')
d2l.plt.ylabel('f(x)');
2、凸性