深度強化元學習教程---優化器元學習1/2

爲了解決深度學習需要大量標註數據集的問題，優化器元學習方法通過利用元網絡來學習最佳優化器，從而幫助實現我們當前功能的基礎網絡具有更好的性能。這種方法有一個比較長名字：通過梯度下降來學習怎樣學習梯度下降算法。這樣說比較抽像，我們以一個具體的例子業說明這一過程。
在傳統的深度學習中，我們首先會根據訓練樣本計算出代價函數，然後求出代價函數對連接權值和偏置值的微分，再在優化器的幫助下，根據梯度下降算法，調整連接權值和偏置值，從而達到使代價函數值最小，最終求出連接權值和偏置值的最優解。
在優化器元學習中，我們用基礎網絡來實現圖像分類任務，用一個遞歸神經網絡來學習優化器。我們同樣利用訓練樣本求出代價函數值，然後求出代價函數對連接權值和偏置值的微分，接下來我們將該微分作爲第$t$時刻的輸入，加上元網絡t−1t-1