2月筆記
Encode, Tag and Realize: A Controllable and Efficient Approach for Text Generation
使用seq2seq方法做文本生成任務，存在一些缺點： 1) 輸出文本可能和輸入文本無關 2) 需要大量訓練語料 3) 逐字生成速度慢 。
對於部分生成任務(文本簡化，單文檔摘要，語法糾錯)，輸出文本和輸入文本有很大的重合度，文章提出LaserTagger方法，預測輸入文本到輸出文本的3種編輯操作，保留，刪除，在前面插入短語X (不同任務編輯操作會有一些變化)。
短語X來自於限定的詞表，要求實現兩個優化目標： 1) 最小化詞典大小 2) 僅通過詞表和輸入文本能直接生成輸出文本的訓練樣本數量最大。
通過預測每個輸入位置的編輯方式，可以生成輸出文本。同時解決了之前的seq2seq的問題： 1) 通過限定詞表和我編輯操作可以減少生成無關內容 2) 實驗結果表明LaserTagger使用1000的訓練數據就可以生成合理的輸出，而seq2seq基線模型達到同樣的性能需要10倍的數據 3) LaserTagger-FF 預測每個位置的編輯操作可以看做是獨立的，因此可以並行，速度提高2個量級。
