GPT-4 模型是OpenAI開發的第四代大型語言模型(LLM),它將是一個多模態模型,會提供完全不同的可能性-例如文字轉圖像、音樂甚至視頻。GPT 全稱爲 Generative Pre-trained Transformer,是一種使用人工神經網絡的深度學習技術,能夠使機器像人一樣聊天交流並進行創作。
GPT-4 建立在 GPT-3 之上,GPT-3 於 2020 年 5 月發佈,並迅速成爲使用最廣泛的自然語言處理模型之一。 GPT-4 比 GPT-3 更大更強,能夠更準確、更流暢地處理和生成文本。
在GPT-4之前是GPT-3.5,由該模型開發的聊天機器人 ChatGPT 一經面世,便引爆 AI 界的軍備競賽
多模態或成GPT-4最大亮點
微軟 AI 技術專家 Holger Kenn 和 Clemens Sieber 對多模態 AI 的相關功能進行了介紹。
根據 Kenn 的說法,多模態 AI 不僅可以將文本轉化成相應的圖像、音樂甚至是視頻。在微軟宣佈前,機器學習專家 Emil Wallner 就在推特上預測,稱 GPT-4 可能具備這種能力。
Sieber 則介紹了一些多模態 AI 產業化的潛在案例,例如多模態 AI 能夠將電話呼叫的語音直接記錄成文本。根據估算,該功能能爲微軟位於荷蘭的一家大客戶節省 500 個工作小時/天。
這項技術已經發展到基本上“適用於所有語言”,也就是說“可以用德語提問,然後用意大利語得到答案。”
近期接受媒體採訪時,OpenAI 首席執行官 Sam Altman 直接否認了一些傳言,比如 GPT-4 可能會使 AGI 有和人類一樣的意識。
Altman 強調,GPT-4 是一次進化,而不是一項革命性的技術。ChatGPT 的下一個版本不會是 AGI ,也不會有 100 萬億個參數
OpenAI 的首席技術官 Mira Murati 認爲少宣傳是好事,但表示 GPT-4 可能會“爲人們拓寬發展機會”。
GPT簡介
GPT,即 Generative Pre-trained Transformer,是由 OpenAI 提出的一系列非常強大的預訓練語言模型。該系列模型基於互聯網上的可用數據上進行訓練,在 NLP(自然語言處理)方面表現卓越,可用於問答、文章生成、機器翻譯、代碼生成和對話 AI 等。
在 GPT 系列模型推出之前,傳統的 NLP 模型都是針對特定任務(如分類、翻譯等)進行訓練的,並且往往使用監督學習,這就導致了兩個問題:缺乏大量的標註數據,模型也無法概括和泛化任務。
以下是GPT的演變歷史
GPT-1
OpenAI 在 2018 年推出了 GPT-1,模型參數數量爲 1.17 億,通過未標註的數據訓練出一種生成式語言模型,再根據特定的下游任務進行微調,將無監督學習作爲有監督模型的預訓練目標。
GPT-2
時隔一年後,2019 年具有 15 億參數的 GPT-2 出現。與 GPT-1 相比,GPT-2 在結構上並沒有太多創新與設計,使用了更大的數據集和更多的模型參數進行訓練,以此強化並提高模型性能。
從 GPT-1 的 1.17 億到 GPT-2 的 15 億,超 10 倍的參數差距帶來了性能上的飛躍。這似乎意味着,隨着容量和參數量的增多,模型性能還有更大的潛力
GPT-3
2020 年 GPT-3 的參數量翻了 100 倍:1750 億,其預訓練數據量也高達 45TB(GPT-2 是 40GB,GPT-1 約 5 GB)。
事實證明,海量參數確實讓 GPT-3 具備了更強大的性能,它在下游任務表現的非常好。即便是複雜的 NLP 任務,GPT-3 也表現驚豔:可以模仿人類寫作,編寫 SQL 查詢語句、React 或 JavaScript 代碼等。
InstructGPT
2022 年初推出全新的 InstructGPT 模型,只要 13 億參數,效果就比 GPT-3 更好。InstructGPT能根據用戶的反饋數據進行訓練。
ChatGPT
ChatGPT,由 GPT-3.5 系列中的模型微調而成。自從去年 11 月發佈以來,ChatGPT 迅速火爆全球。根據 Similarweb 的測算,其訪問量已經從 1 月的 6.16 億達到目前的超過 10 億。
ChatGPT API
3月1日,OpenAI 放出了ChatGPT API(GPT-3.5-turbo 模型),1000個tokens爲$0.002美元,等於每輸出 100 萬個單詞,價格才 2.7 美金(約 18 元人民幣),比已有的 GPT-3.5 模型便宜 10 倍。
GPT-4
GPT-4 模型是第四代大型語言模型(LLM),它將是一個多模態模型,會提供完全不同的可能性-例如文字轉圖像、音樂甚至視頻。