解读自然语言处理的2020年：“大力出奇迹”的GPT-3证明了大算力、大模型的价值

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","marks":[{"type":"strong"}],"text":"本文是 InfoQ“解读 2020”年终技术盘点系列文章之一。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","marks":[{"type":"italic"}],"text":"2019年，自然处理领域最受关注的模型便是BERT。这一年，各大公司和高校陆续发布了自己的预训练语言模型，如：Facebook发布的RoBERTa，CMU发布的XLNet，Stanford发布的ELECTRA，还有百度的ERNIE模型等，不断刷新自然语言理解任务的最高表现。2020年，我们又迎来了GPT-3的发布，该模型自出现便引起了开发者圈内的激烈讨论，到底该模型的出现会对整个领域带来哪些值得注意的变化？展望未来，哪些技术是开发者应该关注的？各大公司的动向又是如何？本文，InfoQ采访了明略科技资深科学家于政，对自然语言处理领域过去一年的重大事件进行总结、回顾与探讨，也欢迎同行业的学者，专家交流指正。"}]},{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"概述"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}}]}