GPT-4多模態模型

GPT-4 模型是OpenAI開發的第四代大型語言模型(LLM),它將是一個多模態模型,會提供完全不同的可能性-例如文字轉圖像、音樂甚至視頻。GPT 全稱爲 Generative Pre-trained Transformer,是一種使用人工神經網絡的深度學習技術,能夠使機器像人一樣聊天交流並進行創作。

GPT-4 建立在 GPT-3 之上,GPT-3 於 2020 年 5 月發佈,並迅速成爲使用最廣泛的自然語言處理模型之一。 GPT-4 比 GPT-3 更大更強,能夠更準確、更流暢地處理和生成文本。

在GPT-4之前是GPT-3.5,由該模型開發的聊天機器人 ChatGPT 一經面世,便引爆 AI 界的軍備競賽

多模態或成GPT-4最大亮點

  微軟 AI 技術專家 Holger Kenn 和 Clemens Sieber 對多模態 AI 的相關功能進行了介紹。

  根據 Kenn 的說法,多模態 AI 不僅可以將文本轉化成相應的圖像、音樂甚至是視頻。在微軟宣佈前,機器學習專家 Emil Wallner 就在推特上預測,稱 GPT-4 可能具備這種能力。

  Sieber 則介紹了一些多模態 AI 產業化的潛在案例,例如多模態 AI 能夠將電話呼叫的語音直接記錄成文本。根據估算,該功能能爲微軟位於荷蘭的一家大客戶節省 500 個工作小時/天。

  這項技術已經發展到基本上“適用於所有語言”,也就是說“可以用德語提問,然後用意大利語得到答案。”

 

  近期接受媒體採訪時,OpenAI 首席執行官 Sam Altman 直接否認了一些傳言,比如 GPT-4 可能會使 AGI 有和人類一樣的意識。

  Altman 強調,GPT-4 是一次進化,而不是一項革命性的技術。ChatGPT 的下一個版本不會是 AGI ,也不會有 100 萬億個參數

  OpenAI 的首席技術官 Mira Murati 認爲少宣傳是好事,但表示 GPT-4 可能會“爲人們拓寬發展機會”。

GPT簡介 

GPT,即 Generative Pre-trained Transformer,是由 OpenAI 提出的一系列非常強大的預訓練語言模型。該系列模型基於互聯網上的可用數據上進行訓練,在 NLP(自然語言處理)方面表現卓越,可用於問答、文章生成、機器翻譯、代碼生成和對話 AI 等。

在 GPT 系列模型推出之前,傳統的 NLP 模型都是針對特定任務(如分類、翻譯等)進行訓練的,並且往往使用監督學習,這就導致了兩個問題:缺乏大量的標註數據,模型也無法概括和泛化任務。

以下是GPT的演變歷史

GPT-1

OpenAI 在 2018 年推出了 GPT-1,模型參數數量爲 1.17 億,通過未標註的數據訓練出一種生成式語言模型,再根據特定的下游任務進行微調,將無監督學習作爲有監督模型的預訓練目標。

GPT-2

時隔一年後,2019 年具有 15 億參數的 GPT-2 出現。與 GPT-1 相比,GPT-2 在結構上並沒有太多創新與設計,使用了更大的數據集和更多的模型參數進行訓練,以此強化並提高模型性能。

從 GPT-1 的 1.17 億到 GPT-2 的 15 億,超 10 倍的參數差距帶來了性能上的飛躍。這似乎意味着,隨着容量和參數量的增多,模型性能還有更大的潛力

GPT-3

2020 年 GPT-3 的參數量翻了 100 倍:1750 億,其預訓練數據量也高達 45TB(GPT-2 是 40GB,GPT-1 約 5 GB)。

事實證明,海量參數確實讓 GPT-3 具備了更強大的性能,它在下游任務表現的非常好。即便是複雜的 NLP 任務,GPT-3 也表現驚豔:可以模仿人類寫作,編寫 SQL 查詢語句、React 或 JavaScript 代碼等。

InstructGPT

2022 年初推出全新的 InstructGPT 模型,只要 13 億參數,效果就比 GPT-3 更好。InstructGPT能根據用戶的反饋數據進行訓練。

 

 

ChatGPT

ChatGPT,由 GPT-3.5 系列中的模型微調而成。自從去年 11 月發佈以來,ChatGPT 迅速火爆全球。根據 Similarweb 的測算,其訪問量已經從 1 月的 6.16 億達到目前的超過 10 億。

ChatGPT API

3月1日,OpenAI 放出了ChatGPT API(GPT-3.5-turbo 模型),1000個tokens爲$0.002美元,等於每輸出 100 萬個單詞,價格才 2.7 美金(約 18 元人民幣),比已有的 GPT-3.5 模型便宜 10 倍。

GPT-4

GPT-4 模型是第四代大型語言模型(LLM),它將是一個多模態模型,會提供完全不同的可能性-例如文字轉圖像、音樂甚至視頻。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章