預訓練模型（8）---- T5: Text-To-Text Transfer Transformer

論文鏈接：

Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

代碼鏈接：

https://github.com/google-research/text-to-text-transfer-transformer

其實在ELECTRA 之前我就看到了T5，這個模型可以用一個字來總結，那就是“大”。不僅模型很大，而且實驗超多（70多個），文章還巨長（34頁），此時不得不感嘆谷歌的財大氣粗。

其實T5簡單的說就是將所有 NLP 任務都轉化成 Text-to-Text （文本到文本）任務。

想了解更多的細節就看下下面的兩個鏈接吧，看完之後應該會被震撼到。

T5 模型：NLP Text-to-Text 預訓練模型超大規模探索

T5: Text-To-Text Transfer Transformer