解讀自然語言處理的2020年：“大力出奇跡”的GPT-3證明了大算力、大模型的價值

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","marks":[{"type":"strong"}],"text":"本文是 InfoQ“解讀 2020”年終技術盤點系列文章之一。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","marks":[{"type":"italic"}],"text":"2019年，自然處理領域最受關注的模型便是BERT。這一年，各大公司和高校陸續發佈了自己的預訓練語言模型，如：Facebook發佈的RoBERTa，CMU發佈的XLNet，Stanford發佈的ELECTRA，還有百度的ERNIE模型等，不斷刷新自然語言理解任務的最高表現。2020年，我們又迎來了GPT-3的發佈，該模型自出現便引起了開發者圈內的激烈討論，到底該模型的出現會對整個領域帶來哪些值得注意的變化？展望未來，哪些技術是開發者應該關注的？各大公司的動向又是如何？本文，InfoQ採訪了明略科技資深科學家於政，對自然語言處理領域過去一年的重大事件進行總結、回顧與探討，也歡迎同行業的學者，專家交流指正。"}]},{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"概述"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}}]}