MAML復現實驗結果彙總（取最好的情形）

原創 miguemath 2020-04-19 17:21

下面是我進行的復現實驗的實驗結果。

除了20-way-N-shot的部分，其他實驗結果基本都能對應上。

附：
MAML模型無關的元學習代碼完整復現（Pytorch版）
MAML復現全部細節和經驗教訓（Pytorch）

Omniglot數據集

5-way-1-shot

MAML：98.7±0.4%98.7 \pm 0.4\%
我的：97.5%97.5\%

20-way-1-shot

MAML：95.8±0.3%95.8 \pm 0.3\%
我的：84.8%84.8\%

20-way-5-shot

MAML：98.9±0.2%98.9 \pm 0.2\%
我的：94.4%94.4\%

miniImageNet數據集

5-way-1-shot

MAML：48.70±1.84%48.70 \pm 1.84\%
我的：49.15%49.15\%

5-way-5-shot

MAML：63.11±0.92%63.11 \pm 0.92\%
我的：62.26%62.26\%

到此，MAML的復現已經告一段落了，接下來向新的實驗進發。

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

LSTM用於元學習-"Learning to learn by gradient descent by gradient descent"-筆記詳解

Andrychowicz, Marcin, et al. “Learning to learn by gradient descent by gradient descent.” Advances in neural inform

miguemath 2020-07-08 04:48:36

MAML模型無關的元學習方法

Notes of MAML Finn, C., Abbeel, P., & Levine, S. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep

miguemath 2020-07-08 04:48:36

Learning to Learn without Gradient Descent by Gradient Descent論文解析（黑箱優化問題）

本篇論文屬於元學習和黑箱函數優化的交叉領域，其中將元學習的思想應用於黑箱函數優化。這篇論文發表於2017年。 對於黑箱函數優化方法我瞭解的不太多，因此本文的不可避免的會有一些理解不到位的地方。 想要了解貝葉斯優化和高斯過程的，可以

miguemath 2020-07-08 04:10:08

Meta-Transfer Learning for Few-Shot Learning 元遷移學習論文解讀

我之前寫過一篇元遷移學習的論文筆記，一種遷移學習和元學習的集成模型。 但是本文的元遷移學習方法完全不同於上一篇論文。 Abstract 由於深度神經網絡容易對小樣本過擬合，所以元學習傾向於使用淺層神經網絡，但淺層神經網絡限制了模型

miguemath 2020-07-08 04:10:07

一種遷移學習和元學習的集成模型

導言 本文提出了一種將遷移學習和元學習結合在一起的訓練方法。本文是論文A Meta-Learning Approach for Custom Model Training的筆記 介紹 傳統上我們需要很多的訓練數據才能訓練出一個好的

miguemath 2020-07-08 04:10:07

對元學習的一些想法

我從去年年底開始被老闆拉入元學習的坑以來（後來發現他是拍腦袋決定的），陸陸續續地也讀過十來篇元學習領域的論文了，算是對這個領域有了一定的瞭解。 我原本是打算在剩下的時間裏在元學習領域深耕，以希望能有一些還過得去的成果。奈何元學習在

miguemath 2020-07-08 04:10:07

神經網絡中的元學習研究

神經網絡中的元學習研究 Meta learning（Learning to learn）在近幾年的研究中受到了越來越多的關注。Meta learning的目標旨在改善學習算法本身，讓模型更精通學習。基於深度學習的方法在各個領域都取

yaoxunji 2020-07-05 07:51:32

論文閱讀筆記《Meta-Learning of Neural Architectures for Few-Shot Learning》

核心思想   本文提出一種基於參數優化的小樣本學習算法（MetaNAS）。本文最重要的改進就是將神經架構搜索（neural architecture search，NAS）引入到小樣本學習算法中，簡單地理解就是MAML和Repti

深视 2020-07-02 15:26:56

Learning to Model the Tail：通過多樣本任務輔助少樣本任務學習（元學習）

在日常生活中，數據的數量並不是相等的。即使是在超大型數據集中，數據的數量差異也廣泛存在，例如下圖中SUN-397中的數據分佈情況。臥室的數據可以達到1000以上，但圖書館甚至不到50。 在本文中，這種數據分佈情況被稱爲“長尾”（long

惯懒高手 2020-06-23 17:13:01

NeurIPS2019 對抗樣本＋元學習paper收錄

1.1.Adversarial Examples Are Not Bugs, They Are Features 1.2.Metric Learning for Adversarial Robustness 1.3.Adversaria

小刘同学_ 2020-06-22 00:29:30

MAML中few-shot (小樣本）learning中數據集的處理

Few-shot learning 數據集 小樣本學習（few shot learning）裏面常用的測試數據集主要有Omniglot和miniImagenet兩個，但是網上能查到的下載地址都在谷歌網盤上，而且miniImagenet中

小刘同学_ 2020-06-22 00:29:25

論文閱讀筆記《Deep Meta-Learning: Learning to Learn in the Concept Space》

核心思想   本文提出一種深度元學習的方法用於解決小樣本學習問題，作者指出原有的元學習算法都是基於實例空間（instance space）進行學習的，而即使是同類物體，其受到光照，背景，位置等因素的影響，外表差異也非常大，因此許多

深视 2020-06-14 09:03:49

論文閱讀筆記《Meta-Transfer Learning for Few-Shot Learning》

核心思想   本文提出一種基於遷移學習的元學習算法（Meta-Transfer Learning，MTL）用於解決小樣本學習問題，通過對深層卷積神經網絡的權重進行放縮（Scaling）和平移（Shifting），以適應新的樣本任務

深视 2020-06-07 22:02:12

論文閱讀筆記《TAFE-Net: Task-Aware Feature Embeddings for Low Shot Learning》

核心思想   本文提出一種利用“任務可知特徵”（Task-Aware Feature Embeddings，TAFE）進行零樣本學習或小樣本學習的算法。什麼是“任務可知特徵”呢？在平常的特徵提取網絡中，網絡權重參數和結構對於所有輸

深视 2020-06-07 22:02:12

論文閱讀筆記《Task-Agnostic Meta-Learning for Few-shot Learning》

核心思想   本文提出了一種基於任務無偏思想的元學習算法用於解決小樣本學習問題。基於參數優化的元學習算法是小樣本學習領域中的一個重要的分支，如MAML，Meta-LSTM，這一類型的算法試圖通過元學習的方式得到一個較好的初始化模型

深视 2020-06-07 22:02:12