元學習綜述
元學習，或學習學習，是一門系統地觀察不同機器學習方法如何在廣泛的學習任務中執行的科學，然後從這種經驗或元數據中學習，以比其他方法更快的速度學習新任務。這不僅極大地加快和改進了機器學習管道或神經體系結構的設計，還允許我們用以數據驅動方式學習的新方法取代手工設計的算法。在本文中，我們將概述這一迷人且不斷髮展的領域的最新進展。
- Meta-Learning: A Survey. Joaquin Vanschoren.
- Chapter 2: Meta Learning [bibtex]. By Joaquin Vanschoren
論文地址：
http://www.zhuanzhi.ai/paper/dd60eaffea966331e199fa531bae7044
元學習究竟是什麼？這《基於梯度的元學習》199頁伯克利博士論文帶你回顧元學習最新發展脈絡
五篇元學習論文推薦
- 微分凸優化元學習 ，CVPR 2019 Oral
許多元學習方法對於小樣本學習依賴於簡單基礎學習器，如最近鄰分類器。然而，即使在小樣本的情況下，經過判別式訓練的線性預測器也能提供更好的泛化效果。我們建議使用這些預測器作爲基礎學習器來學習用於小樣本學習的表示，並表明它們在一系列小樣本識別基準測試中提供了更好的特徵大小和性能之間的權衡。我們的目標是學習新的類別在線性分類規則下很好概括的特徵嵌入。爲了有效地解決這一問題，我們利用線性分類器的兩個性質:凸問題最優性條件的隱微分和優化問題的對偶公式。這使我們能夠使用高維嵌入，並在適當增加計算開銷的情況下改進泛化。我們的方法名爲MetaOptNet，在miniImageNet、tieredImageNet、CIFAR-FS和FC100小樣本學習基準數據集上取得了最先進的性能
2. 無監督元學習，ICLR 2019
無監督學習的一個核心目標是從無標記數據或經驗中獲取表示，這些數據或經驗可用於從少量標記數據中更有效地學習下游任務。以前的許多無監督學習工作都是通過開發基於重構、解纏、預測和其他度量的代理目標來實現的。相反，我們開發了一種無監督元學習方法，它顯式地優化了從少量數據學習各種任務的能力。爲此，我們以自動的方式從未標記的數據構造任務，並在構造的任務上運行元學習。令人驚訝的是，我們發現，當與元學習集成時，相對簡單的任務構建機制，例如集羣嵌入，可以在各種下游的、由人類指定的任務上獲得良好的性能。我們對四個圖像數據集的實驗表明，我們的無監督元學習方法獲得了一種沒有任何標記數據的學習算法，適用於廣泛的下游分類任務，改進了之前四種無監督學習方法學習的嵌入。
3. 在線元學習
智能系統的一個核心能力是能夠不斷地建立在以前的經驗之上，以加快和加強對新任務的學習。兩種不同的研究範式研究了這個問題。元學習將此問題視爲在模型參數之上學習優先級，模型參數能夠快速適應新任務，但通常假設一組任務作爲批處理一起可用。相比之下，在線學習考慮的是一個連續的環境，在這個環境中，問題一個接一個地暴露出來，但傳統上只訓練一個模型，沒有任何特定於任務的適應性。這項工作引入了一個在線元學習設置，它融合了上述兩種範式的思想，以更好地捕捉持續終生學習的精神和實踐。我們提出了遵循元領導算法，將MAML算法擴展到該設置。理論上，這項工作提供了一個O(logT)遺憾保證，與標準的在線設置相比，只有一個額外的高階平滑度假設。我們對三種不同大規模任務的實驗評估表明，該算法的性能顯著優於傳統在線學習方法。
4. 多城市學習:時空預測的元學習方法，WWW2019
時空預測是構建智能城市的基礎問題，對於交通控制、出租車調度、環境政策制定等任務具有重要意義。由於數據採集機制的原因，經常會出現空間分佈不平衡的數據採集。例如，一些城市可能會發布多年的出租車數據，而另一些城市只發布幾天的數據;有些區域可能有由傳感器監測的恆定水質數據，而有些區域只有少量的水樣。在本文中，我們解決了數據採集週期較短的城市時空預測問題。我們的目標是通過遷移學習利用其他城市的長期數據。不同於以往將知識從單一來源城市轉移到目標城市的研究，我們是第一個利用多個城市的信息來增加轉移的穩定性。具體地說，我們提出的模型被設計成一個具有元學習範式的時空網絡。元學習範式學習時空網絡的廣義初始化，能夠有效地適應目標城市。此外，還設計了一種基於模式的時空記憶，用於提取長期的時間信息。,週期性)。我們對兩項任務進行了廣泛的實驗:交通(出租車和自行車)預測和水質預測。實驗結果表明，該模型在多個競爭基準模型上的有效性。
5. 通過元學習進行圖神經網絡對抗攻擊，ICLR 2019
圖深度學習模型已經在許多任務上提高了性能。儘管它們最近取得了成功，但人們對它們的健壯性知之甚少。我們研究了基於圖神經網絡的節點分類訓練時間攻擊對離散圖結構的影響。我們的核心原則是使用元梯度來解決底層訓練時間攻擊的二層問題，本質上是將圖作爲要優化的超參數。我們的實驗表明，圖的小擾動始終導致圖卷積網絡性能的大幅下降，甚至轉移到無監督嵌入。值得注意的是，我們的算法產生的擾動會誤導圖神經網絡，使它們的性能比忽略所有關係信息的簡單基線差。我們的攻擊不假定對目標分類器有任何知識或訪問權限。
-END-