強大如GPT-3,1750億參數也搞不定中國話

2019年,GPT-2憑藉將近30億條參數的規模拿下來“最強NLP模型”的稱號;2020年,1750億條參數的GPT-3震撼發佈,並同時在工業界與學術界掀起了各種爭論。隨着時間的推移,爭論的焦點也發生了變化,人們逐漸發現:GPT-3似乎不僅僅是“越來越大”這麼簡單。

GPT-3不僅龐大,還很強大?

照例先放地址: https://github.com/openai/gpt-3

然後就要解答一個重要的問題:GPT-3是什麼?

按照官方介紹:GPT-3是由人工智能研發公司OpenAI開發的一種用於文本生成的自然語言處理(NLP)模型。它的前作GPT-2曾被賦予“最強NLP模型”的稱號,一個重要的原因就是GPT-2擁有着非常龐大的規模(見下注)。

注:OpenAI 已經於2019年發佈了三種 GPT-2 模型:“小型的”1.24 億參數模型(有 500MB 在磁盤上 ),“中型的”3.55 億參數模型(有 1.5GB 在磁盤上 ),以及 7.74 億參數模型(有 3GB 在磁盤上 )。作爲 GPT-2 分段發佈中的最後一輪,2019年11月,OpenAI公開了完整 GPT-2 包含 15 億條參數,其中包含用於檢測 GPT-2 模型輸出的全部代碼及模型權重。

原文鏈接:【https://www.infoq.cn/article/l7bhKDEolj06Y9dEwJ6O】。未經作者許可,禁止轉載。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章