論文淺嘗 | 用於低資源條件下知識圖譜補全的關係對抗網絡

論文作者: 鄧淑敏，浙江大學在讀博士，研究方向爲低資源條件下知識圖譜自動化構建關鍵技術研究。

Ningyu Zhang, Shumin Deng, Zhanlin Sun, Jiaoyan Chen, Wei Zhang, Huajun Chen. Relation Adversarial Network for Low Resource Knowledge Graph Completion.

本論文已被WWW 2020接收.

論文鏈接：https://arxiv.org/abs/1911.03091

知識圖譜補全（Knowledge Graph Completion，KGC），通過鏈接預測或關係抽取來補充知識圖譜缺失的連接，主要困難之一是資源不足問題。KG中存在很多實例很少的關係，而且那些新添加的關係通常沒有許多已知的訓練樣本。比如下圖中展示的，KG大部分關係的樣本都比較少，呈現出長尾分佈，比起樣本較多的關係，長尾關係的預測和抽取性能顯著降低。（a）關係的鏈接預測結果與它們在KG中的頻率高度相關，KG中頻率較高的關係明顯優於頻率較低的關係；（b）關係抽取的效果，隨着每個關係的樣本數目減少而下降。本文的任務是在低資源條件下，預測KG中新的三元組，包括鏈接預測和關係抽取兩個子任務。

典型的KGC任務中的資源不足問題示例（鏈接預測、關係抽取）

本文提出了一個加權關係對抗網絡（Weighted Relation Adversarial Network，wRAN）的通用框架，該框架利用對抗過程，將從資源豐富的關係中學到的知識/特徵，去適應不同但相關的低資源關係。wRAN框架綜合考慮了三部分問題：對抗遷移學習（Adversarial Transfer Learning），核心思想是通過對抗性學習過程提取領域不變性特徵，該過程能夠減少源域和目標域之間的分佈差異；關係對抗網絡（Relation Adversarial Network），學習通用的關係不變性特徵，以此弄清不同關係背後的語言變化因素，並縮小相關關係之間的語言差異；負遷移（Negative Transfer），區別於標準的domain adaption源域和目標域之間的標籤空間完全相同且共享，wRAN考慮從多個源關係到一個或多個目標關係的適應，並且考慮了不同的關係可能對遷移產生不同的影響，離羣的源關係在與目標關係做判別時可能導致負遷移。比如下圖所示，wRAN可以從三個源關係（place_of_death，place_of_birth，country）中學習通用的位置信息，然後將隱含的知識應用於目標關係（place_of_burial）以提高其預測性能，而capital關係則會導致負遷移。

Relation Adaptation示例

具體地說，wRAN框架利用關係判別器來區分來自不同關係的樣本，並以此學習從源關係到目標關係易於遷移的關係不變性特徵，主要包含三個模塊：

（1）實例編碼器（Instance Encoder），學習可轉移的特徵，這些特徵可以弄清關係之間的語言變化因素。考慮到模型性能和時間效率，本文使用CNN實現實例編碼。其他神經架構，例如RNN和BERT也可以用作編碼器。

（2）對抗性關係適應（Adversarial Relation Adaptation），尋找可以區分具有不同關係分佈的關係判別器。對抗學習有助於學習一個神經網絡，該網絡可以將目標樣本映射到特徵空間，從而使判別器不再將其與源樣本區分開。

（3）加權關係適應（Weighed Relation Adaptation），可以識別無關的源關係並自動降低其重要性，以解決負遷移問題並鼓勵正遷移。通過兩個角度來評估每個源關係/樣本對目標關係的重要性：關係間相關性和實例遷移能力。並提出關係門控機制，學習和控制細粒度的關係/樣本權重。