预训练模型(8)---- T5: Text-To-Text Transfer Transformer

论文链接:

Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

代码链接:

https://github.com/google-research/text-to-text-transfer-transformer

其实在ELECTRA 之前我就看到了T5,这个模型可以用一个字来总结,那就是“大”。不仅模型很大,而且实验超多(70多个),文章还巨长(34页),此时不得不感叹谷歌的财大气粗。

其实T5简单的说就是将所有 NLP 任务都转化成 Text-to-Text (文本到文本)任务。

想了解更多的细节就看下下面的两个链接吧,看完之后应该会被震撼到。

T5 模型:NLP Text-to-Text 预训练模型超大规模探索

T5: Text-To-Text Transfer Transformer

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章