AI公益學習-優化與深度學習

1、深度學習中的優化

1.1、優化

優化方法目標：訓練集損失函數值
深度學習目標：測試集損失函數值（泛化性）

1.2、優化在深度學習中的挑戰

• 局部最小值
• 鞍點
• 梯度消失

1.2.1、鞍點

x = np.arange(-2.0, 2.0, 0.1)
fig, = d2l.plt.plot(x, x**3)
fig.axes.annotate('saddle point', xy=(0, -0.2), xytext=(-0.52, -5.0),
                  arrowprops=dict(arrowstyle='->'))
d2l.plt.xlabel('x')
d2l.plt.ylabel('f(x)');

2、凸性