核心思想：借鑑多任務，將文本標籤作爲輸入的一部分（放在開頭）控制文本生成。
文本生成最大的問題是難以對其進行控制，本文發佈了一個 1.6 billion 參數的條件 transformer language model，訓練能夠 govern 風格、內容、特定任務行爲等的控制代碼。控制代碼來自與原始文本共現的結構，保留了無監督學習的優點，同時提供對文本生成更明確的控制。
控制模型生成部分，CTRL加入了條件c，即文章的控制信息如類型，在計算概率的同時考慮條件c。具體操作是在每一個序列的具體內容前加了入類型描述，使得在計算Attention的訓練過程中，類型與序列中的所有元素建立聯繫。
模型結構和gpt類似，沒有大的改變，只是改變了生成
paper note: https://zhuanlan.zhihu.com/p/101347111