《遷移學習簡明手冊》閱讀筆記——特徵選擇

特徵選擇

主要思想

源域和目標域中均含有一部分公共的特徵，在這部分公共的特徵上，源領域和目標領域的數據分佈是一致的。因此，此類方法的目標就是，通過機器學習方法，選擇出這部分共享的特徵，即可依據這些特徵構建模型

SCL 方法

作者將這些公共的特徵叫做 Pivot feature。找出來這些 Pivot feature，就完成了遷移學習的任務

Pivot feature 指的是在文本分類中，在不同領域中出現頻次較高的那些詞。

• 特徵選擇法從源域和目標域中選擇提取共享的特徵，建立統一模型
• 通常與分佈自適應方法進行結合
• 通常採用稀疏表示 $||A||_{2,1}$ 實現特徵選擇

子空間學習

子空間學習法通常假設源域和目標域數據在變換後的子空間中會有着相似的分佈。我 們按照特徵變換的形式，將子空間學習法分爲兩種:基於統計特徵變換的統計特徵對齊方法，以及基於流形變換的流形學習方法

統計特徵對齊

SA 方法

統計特徵對齊方法主要將數據的統計特徵進行變換對齊
SA 方法直接尋求一個線性變換 M，將不同的數據實現變換對齊。SA 方法的優化目 標如下:

則變換 M 的值爲:

可以直接獲得上述優化問題的閉式解:

SDA 方法

該方法在 SA 的基礎上，加入了概率分佈自適應。SDA 方法提出，除了子空間變換矩陣 T 之外，還應當增加一個概 率分佈自適應變換 A。SDA 方法的優化目標如下:

CORAL 方法

有別於 SA 和 SDA 方法只進行源域和目標域的一階特徵對齊，Sun 等人提出了 CORAL 方法，對兩個領域進行二階特徵對齊。假設 Cs 和 Ct 分別是源 領域和目標領域的協方差矩陣，則 CORAL 方法學習一個二階特徵變換 A，使得源域和目 標域的特徵距離最小: