2019年,GPT-2憑藉將近30億條參數的規模拿下來“最強NLP模型”的稱號;2020年,1750億條參數的GPT-3震撼發佈,並同時在工業界與學術界掀起了各種爭論。隨着時間的推移,爭論的焦點也發生了變化,人們逐漸發現:GPT-3似乎不僅僅是“越來越大”這麼簡單。
GPT-3不僅龐大,還很強大?
照例先放地址: https://github.com/openai/gpt-3
然後就要解答一個重要的問題:GPT-3是什麼?
按照官方介紹:GPT-3是由人工智能研發公司OpenAI開發的一種用於文本生成的自然語言處理(NLP)模型。它的前作GPT-2曾被賦予“最強NLP模型”的稱號,一個重要的原因就是GPT-2擁有着非常龐大的規模(見下注)。
注:OpenAI 已經於2019年發佈了三種 GPT-2 模型:“小型的”1.24 億參數模型(有 500MB 在磁盤上 ),“中型的”3.55 億參數模型(有 1.5GB 在磁盤上 ),以及 7.74 億參數模型(有 3GB 在磁盤上 )。作爲 GPT-2 分段發佈中的最後一輪,2019年11月,OpenAI公開了完整 GPT-2 包含 15 億條參數,其中包含用於檢測 GPT-2 模型輸出的全部代碼及模型權重。
原文鏈接:【https://www.infoq.cn/article/l7bhKDEolj06Y9dEwJ6O】。未經作者許可,禁止轉載。