PaperReading-TransM《Transition-based Knowledge Graph Embedding with Relational Mapping Properties》

本文記錄了TransM《Transition-based Knowledge Graph Embedding with Relational Mapping Properties》的論文閱讀,如果有同學在做相關的工作,請通過郵件和我溝通聯繫[email protected]

背景

TransM算法是基於TransE算法進行的改進,目的還是爲了解決在TransE中無法處理的一對多、多對一、多對多和自反關係問題。在TransM算法中將這個問題描述成了TransE在處理多類型關係時不夠靈活和不能很好的得到表徵結果,我覺得這個解釋並沒有在TransH解釋的足夠清楚。

改進

TransM的思路還是和TransE是一致的,就是關係是實體之間的翻譯功能,使用的損失函數還是TransE是一樣的,還是使得正例的勢能差值最大,負例的勢能差值最小。爲了解決多類型關係這個問題,TransM認爲不同的關係類型應該具有不同的權重,利用不同的權重來更新參數。
具體意思就是一對一關係類型的三元組在計算勢能差值時的權重最高,因爲他的權重完全是由這個一個三元組對兒來表達,但是多對一的關係的權重較低,因爲多對一的權重應該由這多個三元組對兒一起來表達,所以在每個三元組對兒身上的權重就應該下降。
利用給不同的關係的三元組對兒不同的權重,來調整不同的三元組對兒的勢能差值在對合頁損失函數的影響。

做法

TransM的做法和TransE相比,就是多了個權重係數
在這裏插入圖片描述
其中權重係數的計算方法是
在這裏插入圖片描述
損失函數和TransE的一樣,
在這裏插入圖片描述

僞代碼

TransM的僞代碼和TransE相比就是在初始化之後多了個計算權重的過程,
但是權重係數是固定不變,使用隨機初始化的實體及關係向量計算得到的
在這裏插入圖片描述
從論文的截圖中我們可以看到,使用最開始隨機初始化的實體及關係向量計算了每個三元組的權重

總結

TransM算法通過給三元組不同的權重,利用不同的權重來影響勢能差結果對於損失函數的效果,從而實現的對於多對一、一對多關係儘可能的消除TransE帶來的影響。
但是我個人覺得存在兩個問題

  • 通過增加權重,實際上並沒有解決多對一中,多的一樣實體相等的狀態,只是延緩了這個過程,
  • 每個三元組的權重是一個固定的值,採用的是隨機初始化的向量經過計算之後的結果,利用動態的向量計算權重是不是可解釋性更高效果更好?
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章