Brief description
基於對模型SGM(Seq2Seq)的改進。[發表於COLING2018]
在SGM的基礎上加了一個Set decoder，利用set的無序性，降低錯誤的標籤排序帶來的影響。（對於作者在Sequence decoder上疊加一個Set decoder的做法，並不是特別理解其必要性）
SGM存在的問題：
- 當所要預測的標籤序列長度增加時，F1值下降，HL上升，即結果變差。
- 輸出結果的內部順序依賴於標籤空間的排序 。
Seq2Set出發點：
- 基於SGM問題2進行了改進，所提出得新模型利用了深度強化學習，不僅捕捉到標籤之間的相互關係，而且減少了對標籤序列的依賴。
Seq2Set仍存在的問題：
- 在低頻標籤上效果差，因爲MC採樣時在低頻標籤上更爲稀疏。（author）
- Sequence decoder 中仍然通過標籤的出現頻率排序，t時刻只能學習到前面標籤的內容，低頻的排在後面的標籤內容無法學習到。所以不能很好的擬合標籤內部的相關性。(me)
個人小結：
- 模型SGM、Seq2Set都把多分類問題當成一個序列生成任務，通過seq2seq框架來模擬標籤之間的內在關聯。雖然結果確有提升，但通過序列生產的方式是否能學習到標籤內部的關聯性還有待商榷。
- Seq2Set 使用了self-critical policy gradient算法來訓練模型。（有待進一步瞭解此算法）