論文中多語言的神經機器翻譯方法(multilingual neural machine translation)

一般的神經機器翻譯模型(NMT)實現的是一種語言到另一種語言的翻譯,也就是用在特定的語言對之間。最近一些工作開始將一般的NMT擴展到多語言的場景。目前兩種通常的做法是:一、爲每種源語言單獨準備一個encoder,每種目標語言也準備一個decoder,然後encoder和decoder之間共享一個注意力層。二、不管源端和目標端多少種語言統一一個encoder,一個decoder,然後attention。

1.《Toward Multilingual Neural Machine Translation with Universal Encoder and Decoder》:一個encoder-decoder

低資源平行語料(En->De)情況下:融合單語語料(De->De)或其他低資源平行語料(例如Fr->De)能夠提升模型效果。

融合大量單語語料情況下:也可以提升模型效果。

零資源:有De->En,En->Fr的平行語料,沒有單獨De->Fr的平行語料,看看De->Fr的翻譯效果。

一個箭頭(->)代表一個模型,例如Direct(De->Fr)就是有平行語料的情況下訓練一個模型,Pivot(De->En->Fr)就是訓練兩個模型,En作爲中間語言。發現效果並不好。

2. 《Multilingual NMT with a language-indepent attention bridge》(2019ACL)獨立的encoder,decoder+share attention

 

 

發佈了68 篇原創文章 · 獲贊 13 · 訪問量 2萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章