域自適應

域自適應學習（Domain Adaptation Learning）能夠有效地解決訓練樣本和測試樣本概率分佈不一致的學習問題。在傳統的機器學習算法中，通常假設訓練樣本和測試樣本來自同一概率分佈，然後設計相應的模型和判別準則對待測試的樣例的輸出進行預測。但是，很多場景下是不滿足這個概率分佈相同的約束的，域自適應學習問題就是爲了解決這種源域和目標域概率分佈不一致的情況。

自適應學習假設：

協變量遷移假設
概念遷移（Concept shift）假設
先驗概率遷移（Prior probability shift）

分類：

從不同的學習場景看，域自適應學習可分爲：分類問題、迴歸問題和聚類問題。
解決多源域自適應學習問題的方法可以分爲三大類：基於源於判別函數學習的方法、基於正則化項加權組合的方法和基於流形平滑性假設的方法。

理論分析：

域自適應學習理論研究主要集中於：

學習的可行性：滿足什麼條件纔可能實現域自適應學習？
學習的魯棒性：域自適應學習的魯棒性與普通意義上的魯棒性是不同的，在域自適應學習的魯棒性中，將訓練樣本分佈和測試樣本分佈之間存在的差異視爲“擾動”，通過克服擾動，實現對目標域的學習。
學習的統計估計一致性：域自適應學習算法應使用盡可能少的樣本數，具有儘可能好的泛化能力，實現最小的誤差上界。

注意力機制

注意力機制（Attention Mechanism）源於對人類視覺的研究，主要有兩個方面：決定需要關注輸入的哪部分；分配有限的信息處理資源給重要的部分。在計算能力有限的情況下，注意力機制是解決信息超載問題的主要手段（一種資源分配方案），將計算資源分配給更重要的任務。

注意力一般分爲兩種：

聚焦式（focus）注意力：自上而下的有意識的注意力，有預訂目的、依賴任務的、主動有意識地聚焦於某一對象的注意力。
基於顯著性（saliency-based）的注意力：自下而上無意識的注意力，由外界刺激驅動的注意，不需要主動干預，和任務無關。如果一個對象的刺激信息不同於其周圍信息，一種無意識的贏者通喫（winner-take-all）或門控（gating）機制就可以把注意力轉向這個對象。

知識蒸餾

每個部分的大概介紹可以看參考文獻。

Hinton的文章《Distilling the Knowledge in a Neural Network》中首次提出了知識蒸餾（暗知識提取）的概念，通過引入與教師網絡（teacher network：複雜，但推理能力優越）相關的軟目標（soft-target）作爲整體損失的一部分，以誘導學生網絡（student network：精簡、低複雜度）的訓練，實現知識遷移。

二者也可以聯合訓練，論文地址。

這篇文章重新定義了整體損失。代碼。

多教師方法。

Hint-based Knowledge Transfer，代碼。

Attention to Attention Transfer，代碼。

Flow of the Solution Procedure

Knowledge Distillation with Adversarial Samples Supporting Decision Boundary

Label Refinery：Improving ImageNet Classification through Label Progression，代碼。

更多內容，歡迎加入星球討論。