NMT十篇必讀論文(一)attention is all you need

清華大學NLP整理的神經機器翻譯reading list中提到了十篇必讀論文

https://github.com/THUNLP-MT/MT-Reading-List

 

本文拋棄了慣用的以CNN、RNN作爲位置編碼的方法,單純依靠注意力機制以及簡單的三角函數進行了位置編碼,起到了不錯的效果。對應模型爲Tensor2Tensor框架下的Transformer模型。

GitHub地址:  https://github.com/tensorflow/tensor2tensor

 

解釋的比較好的博客:

https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/79023069

https://ask.hellobi.com/blog/wenwen/18695

https://blog.csdn.net/qq_41058526/article/details/80783925

https://www.jianshu.com/p/3f2d4bc126e6

https://blog.csdn.net/mijiaoxiaosan/article/details/73251443

強烈推薦:

https://blog.csdn.net/stupid_3/article/details/83184691

 

清華大學在此基礎上提出了一種改進的文檔級Transformer模型

Improving the Transformer Translation Model with Document-Level Context

https://github.com/THUNLP-MT/Document-Transformer

將原來Transformer模型的encoder和decoder結構的self-attention之後的輸出作爲Q,將經過self-attention之後的context embedding作爲K,V,分別進行了一次mulit-head self-attention,並進行了些許優化

實驗結果表明bleu值提高了

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章