paper：https://arxiv.org/abs/2002.12328
code/data/demo：http://scgpt.westus2.azurecontainer.io/
目前任務導向型對話存在的問題，要麼依賴固定對話生成的模型，要麼只能在一些具體領域的基於一些有限標註數據集進行訓練。本文提出了一個基於”預訓練-預訓練-微調”的模型，目的是提高任務導向型對話生成的文本的流暢性和準確度；
流程是首先在通用語料上預訓練，然後在大量對話數據集上預訓練，最後再使用具體領域的數據集進行微調，能極大地提高所生成回覆的質量。
SC-GPT和兩個基線模型（SC-LSTM、GPT-2）的實驗結果：可以看到，在所有7個領域，SC-GPT生成的文本既更流暢（BLEU更大），而且也更準確（ERR更小），超越幅度也非常大。
paper note:https://zhuanlan.zhihu.com/p/110164562
針對Few-shot 的應用場景，可以借鑑作者的基於”預訓練-預訓練-微調”的方法，並且代碼也以及開源；