Seq2Seq網絡框架的學習筆記

Seq2Seq網絡架構模型

前期知識儲備：RNN網絡架構、LSTM網絡架構、Word2Vec模型。

Seq2Seq應用

• 機器翻譯（谷歌翻譯）
• 情感對話生成
• 代碼補全（目前只處於概念階段）

Seq2Seq存在的問題

• 壓縮損失了信息
• 長度限制

針對存在的問題，提出了Attention機制

• “高分辨率”聚焦再圖片的某個特定區域並以“低分辨率”感知圖像的周邊區域的模式
• 通過大量事宴證明，將attention機制應用在機器翻譯，摘要生成，閱讀理解等問題上，取得的成效顯著。

Attention 機制（該機制能夠運用到很多地方）

• 關注輸入序列中某些狀態下的內容
  
  
• 對Encoder層狀態的加權，從而掌握輸入語句中的所有細節信息
  
• 加權效果（越黑α越低，越白α越高）
  

Bucket機制

• 正常情況要對所有句子進行補全
• Bucket可以先分組，再計算