作者｜潘子琦
單位｜上交BCMI實驗室
來源｜機器之心
現有的有監督解耦方法，比如把中間表徵解耦成種類相關的表徵和種類無關的表徵，大多基於交換生成的經驗性框架，缺乏理論指導，無法保證種類相關表徵中不包含種類無關的信息。在本文中，來自上海交通大學的研究者嘗試建立信息瓶頸（Information Bottleneck, IB）和有監督解耦之間的聯繫，爲有監督解耦提供理論指導。
信息瓶頸是一種從源數據中提取出與任務目標有關信息的方法，一般通過優化權衡壓縮項和預測項的 IB Lagrangian 來實現。現有文獻已經指出 IB Lagrangian 存在的一些問題，比如期望的壓縮水平與控制權衡的 Lagrangian 乘子之間沒有因果關聯，因此對於 IB Lagrangian 來說需要多次嘗試優化來實現期望目標。
研究者在文中具體分析了 IB Lagrangian 中存在的權衡問題，表明隨着壓縮程度增大，預測性能嚴格減小。爲了克服這些問題，研究者一方面期望在不損害預測性能的前提下能夠實現最大化壓縮，簡稱爲「最大化壓縮」；另一方面期望無需多次嘗試優化，即模型能夠一致地實現最大化壓縮。
爲此，研究者首先考察了最大化壓縮實現時對應的量化條件，之後對優化目標給出了最大化壓縮一致性的性質定義，即只要優化目標滿足該性質就能夠一致地實現最大化壓縮。在此基礎上，研究者給出自己的方案設計。
與現有的 IB Lagrangian 不同，研究者從有監督解耦的角度來實現信息壓縮，這是因爲他們認爲信息壓縮與有監督解耦本質上是同一回事：在有監督解耦任務中，需要將源數據中與給定標籤有關的信息和其它信息分開，如給定圖像的類別標籤，將圖像信息解耦爲類別有關的和類別無關的信息；而類似地，在信息壓縮任務中，要將源數據中與給定標籤無關的信息丟棄從而實現壓縮，同樣需要區分出與給定標籤有關的信息和與給定標籤無關的信息。
基於此，研究者將有監督解耦與信息壓縮相聯繫，提出了基於解耦的信息瓶頸算法。研究者給出了一些結論，同時在多個數據集上驗證了這些結論，並驗證了所提方法在包括信息壓縮等多個評估指標上的性能。本文已被 AAAI 2021 會議接收。
論文標題：
Disentangled Information Bottleneck
論文作者：
Ziqi Pan / Li Niu / Jianfu Zhang / Liqing Zhang
論文鏈接：
http://www.paperweekly.site/papers/4771
IB Lagrangian中壓縮項與預測項的權衡
研究者分析了 IB Lagrangian 中存在的壓縮項與預測項之間的權衡問題。形式如下：
具體來說，本文的結論表明 IB Lagrangian 最優解對應的預測性能是隨着壓縮程度的增大而嚴格下降的。
最大化壓縮一致性、方法設計
爲了實現一致的最大化壓縮，研究者首先給出了最大化壓縮對應的量化條件。首先考慮了 I(X;Y) = H(Y)的情形，應用互信息的基本性質及信息處理不等式，可以得到：
接着給出了關於優化目標的最大化壓縮一致性的性質定義：
即任意優化目標，只要滿足這一性質，就會一致地實現最大化壓縮，即上述量化條件。在此基礎上給出了本文方法的優化目標函數：
具體來說，研究者通過最大化 I(X;S;Y)來約束 (S;Y) 能夠表示出 X 的全部信息，則可知 S 至少包含了 X 中與 Y 無關的信息；通過最大化 I(T;Y)來約束 T 能夠無損地預測出 Y，則可知至少 T 包含了 X 中與 Y 有關的信息。在此基礎上通過最小化 I(S;T)來約束 S 與 T 中的信息互不交疊，從而精確地約束 T 保留與 Y 有關的信息而 S 保留與 Y 無關的信息。可以證明，研究者的優化目標滿足最大化壓縮一致性，即：
對於方案的工程實現，現有的文獻提供了直接可用的方法。對於最大化 T(T;Y)和 I(X;S;Y)來說，可以採用變分逼近；而對於最小化 I(S;T)來說，可以採用 Density-Ratio Trick 並以對抗方式進行訓練。
研究者的方案與信息壓縮和有監督解耦兩個領域有關。對於信息壓縮的有關方法，大多采用了優化 IB Lagrangian 的形式，因此根據上述結論，它們的壓縮項和預測項權衡無法避免，從而在信息壓縮的同時帶來預測性能的損失；而與有監督解耦的有關方法相比，如前所述，本文方法能夠確保 T 和 S 分別精確地保留與 Y 有關和無關的信息，而它們在信息量控制方面沒有保證。
實驗結果
本文的主要目標是克服 IB Lagrangian 中的權衡問題，因此首先驗證所提方法在 IB 平面（橫軸代表 I(X;T)，縱軸代表 I(T;Y)）上的表現行爲。結果如下圖所示：
通過上圖可以看出，本文方法能夠在壓縮信息的同時避免對預測性能的影響，最大化壓縮的量化條件得以較好地逼近；而在 IB Lagrangian 的優化中，預測性能會隨着壓縮程度加大而下降。除此之外，參照信息壓縮方法相關文獻中的其它評估指標，本文方法在泛化能力、魯棒性以及離羣樣本檢測方面也表現良好。
本文方法額外帶來的收穫是能夠進行有監督地解耦。通過可視化結果，本文方法可以較好地展示出解耦效果。
文章小結
總的來說，爲了克服優化 IB Lagrangian 的信息壓縮方法中存在的壓縮項與預測項的權衡問題，研究者從有監督解耦的角度實現了信息壓縮的方法，並提出了基於有監督解耦的信息瓶頸算法。研究者給出了一些結論並進行了實驗驗證，同時在最大化壓縮、泛化能力、魯棒性、離羣樣本檢測、有監督解耦等方面對方法進行評估，得到了良好的實驗效果。
????
現在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關於PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公衆號後臺點擊「交流羣」，小助手將把你帶入 PaperWeekly 的交流羣裏。
