MAML模型無關的元學習方法

Notes of MAML

Finn, C., Abbeel, P., & Levine, S. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. In 34th International Conference on Machine Learning, ICML 2017 (Vol. 3, pp. 1856–1868). International Machine Learning Society (IMLS).

Abstract

本文提出了一種與模型不可知的元學習算法，適用於所有使用梯度下降法進行訓練的模型。此算法在迴歸，分類，強化學習三個任務上都達到了當時最好的性能。

1 Introduction

MAML主要是訓練模型的初始參數，使得這個參數在新任務上經過少量的迭代更新之後就能使模型達到最好的效果。過去的方法一般是學習出一個迭代函數或者一個學習規則。MAML沒有新增參數，也沒有對模型提出任何約束。MAML可以看作是最大化損失函數在新任務上的靈敏度，從而當參數只有很小的改編時，損失函數也能大幅減小。

2 Model-Agnostic Meta-Learning

2.1 Meta-Learning 問題設定

考慮一個模型$f$，
$f: \bf{x} \to \bf{a}$
考慮一個任務分佈$p(T)$,對於一個K-shot學習設定，模型$f$將通過K個樣本來學習任務$T_i,\;T_i \in p(T)$。模型$f$通過$L_{T_i}$來更新參數。 模型從N個任務中學習，學習完之後，再取出一個新的任務T，從這個新的任務T取出K個樣本訓練後，再在這個新任務上的測試集上進行測試。

2.2 MAML 算法

$\phi$爲模型想要訓練的初始參數，現在的目標是訓練出一個$\phi$，使得模型在未來迭代一次之後，就能達到很小的loss值。模型的優化目標是對“訓練過後的loss值”最小化：
$\min_{\theta} \sum_{T_i \sim p(T)}{L_{T_i}(f_{\theta_i^`})} =\min_{\theta} \sum_{T_i \sim p(T)}{L_{T_i}(f_{(\theta-\alpha \nabla_\theta L_{T_i}(f_{\theta}))})}$
其中，$\theta_i^`= \theta-\alpha \nabla_\theta L_{T_i}(f_{\theta})$。這裏的$\sum_{T_i \sim p(T)}{L_{T_i}(f_{\theta_i^`})}$實際上就是$L(\phi)$:
$L(\phi) = \sum_{T_i \sim p(T)}{L_{T_i}(f_{\theta_i^`})}$
$\phi$的更新也是使用梯度下降法,式(4)中的$\theta$的初始值就是$\phi$：
$\theta \leftarrow \theta-\beta\nabla_\theta\sum_{T_i \sim p(T)}{L_{T_i}(f_{\theta_i^`})}$
算法流程如下：

3 MAML的種類

1. 迴歸
2. 分類
3. 強化學習

不同點只在於loss函數的不同。

4 相關工作

1. 一種方法是不僅學習權重的初始化的值，也要學習優化器(2016)
2. 一種方法是使用孿生網絡在學習過的度量空間裏對樣本進行比較(2015)
3. 一種方法是在多任務上訓練 memory-augmented模型(2017)

5 實驗

5.1 迴歸

分類