seq2seq框架中技術要點彙總

1. seq2seq中的attention
2. Copy Mechanism：解決OOV詞Copy Mechanism：解決OOV詞
   來自於文章《Incorporating Copying Mechanism in Sequence-to-Sequence Learning》發表在ACL2016
3. Sequential Copying Networks
   發表在AAAI2018年的《Sequential Copying Networks》
   copy一步到位，拒絕多次copy
   比較好的解析：http://dy.163.com/v2/article/detail/DE0S7IKE0511D89H.html
4. Scheduled Sampling
   來自文章NIPS2015《Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks》
   目的是爲了解決exposure bias
5. Self-critical sequence training
   CVPR2017《Self-critical Sequence Training for Image Captioning》
   http://www.zhuanzhi.ai/document/f41da7c8c2cbc05ba758f147257e0f87
6. seq2seq中的beam search算法
   爲了減少計算複雜度，只在test階段使用，在train階段也是可以使用的爲了減少計算複雜度，只在test階段使用，在train階段也是可以使用的
   比較好的解釋
   https://zhuanlan.zhihu.com/p/36029811?group_id=972420376412762112
   https://zhuanlan.zhihu.com/p/28048246
7. an intra-temporal attention function
   seq2seq的一個問題就是生成重複，input中的某部分反覆參與到解碼中，應用這個技術可以減少重複
8. Coverage 機制
   爲了解決生成連續重複的詞的問題。首先考慮把之前的 attention weight at′at′ 都加起來，得到 coverage vector
   這樣做的出發點是，讓 attention 決定 tt 時刻該去關注哪一點的時候，要先知道之前已經對哪些點關注過了，就有可能解決重複關注的問題。