來源:機器之心
再次編輯:夕小瑤的賣萌屋
什麼是小樣本學習?它與弱監督學習等問題有何差異?其核心問題是什麼?來自港科大和第四範式的這篇綜述論文提供瞭解答。
數據是機器學習領域的重要資源,在數據缺少的情況下如何訓練模型呢?小樣本學習是其中一個解決方案。來自香港科技大學和第四範式的研究人員綜述了該領域的研究發展,並提出了未來的研究方向。
這篇綜述論文已被 ACM Computing Surveys 接收,作者還建立了 GitHub repo,用於更新該領域的發展。
論文地址:https://arxiv.org/pdf/1904.05046.pdf
GitHub 地址:https://github.com/tata1661/FewShotPapers
機器學習在數據密集型應用中取得了很大成功,但在面臨小數據集的情況下往往捉襟見肘。近期出現的小樣本學習(Few-Shot Learning,FSL)方法旨在解決該問題。FSL 利用先驗知識,能夠快速泛化至僅包含少量具備監督信息的樣本的新任務中。
這篇論文對 FSL 方法進行了綜述。首先,該論文給出了 FSL 的正式定義,並釐清了它與相關機器學習問題(弱監督學習、不平衡學習、遷移學習和元學習)的關聯和差異。然後指出 FSL 的核心問題,即經驗風險最小化方法不可靠。
基於各個方法利用先驗知識處理核心問題的方式,該研究將 FSL 方法分爲三大類:
數據:利用先驗知識增強監督信號;
模型:利用先驗知識縮小假設空間的大小;
算法:利用先驗知識更改給定假設空間中對最優假設的搜索。
最後,這篇文章提出了 FSL 的未來研究方向:FSL 問題設置、技術、應用和理論。
論文概覽
該綜述論文所覆蓋的主題見下圖:
我們選取介紹了該綜述論文中的部分內容,詳情參見原論文。
什麼是小樣本學習
FSL 是機器學習的子領域。
我們先來看機器學習的定義:
計算機程序基於與任務 T 相關的經驗 E 學習,並得到性能改進(性能度量指標爲 P)。
基於此,該研究將 FSL 定義爲:
小樣本學習是一類機器學習問題,其經驗 E 中僅包含有限數量的監督信息。
下圖對比了具備充足訓練樣本和少量訓練樣本的學習算法:
FSL方法分類
根據先驗知識的利用方式,FSL方法可分爲三類:
FSL 方法解決少樣本問題的不同角度。
基於此,該研究將現有的 FSL 方法納入此框架,得到如下分類體系:
數據
此類 FSL 方法利用先驗知識增強數據 D_train,從而擴充監督信息,利用充足數據來實現可靠的經驗風險最小化。
如上圖所示,根據增強數據的來源,這類 FSL 方法可分爲以下三個類別:
模型
基於所用先驗知識的類型,這類方法可分爲如下四個類別:
算法
根據先驗知識對搜索策略的影響,此類方法可分爲三個類別:
文章最後從問題設置、技術、應用和理論四個層面探討了小樣本學習領域的未來發展方向。