大模型驅動雲計算創新變革

接下來我分享的內容想回歸到雲計算本身,分享一下大模型會給雲計算帶來哪些顛覆與變革。我們相信: 大模型將驅動雲計算的創新並重塑雲計算的產業格局。

1    AI 原生時代開啓,大模型驅動雲計算創新變革

大模型的發展不同於以往的 AI 技術迭代,它同時驅動了底層 IT 基礎設施的重構,也帶來了上層應用開發模式的變革。

我們回顧一下過去多年來技術發展的脈絡。

自 2012 年以來,深度學習就逐步成爲人工智能的主流算法。在移動應用上,深度學習大放異彩,算法模型能力成爲很多移動互聯網企業的核心競爭力。但是,深度學習僅停留在對應用的賦能上,沒有從實質上改變應用的研發範式。

自經典雲計算誕生以來,計算網絡存儲的虛擬化使算力成爲基礎服務,數字化基礎設施的格局被雲計算所改變。移動應用則採用了對雲更加親和的雲原生架構理念做設計,這大幅提升了移動應用的開發迭代效率,一定程度助力了移動應用市場的繁榮。

我們發現,移動應用、深度學習和雲計算三個時代有所重疊,移動應用市場的蓬勃也受益於深度學習和雲計算的發展,但是應用、AI 技術和 IT 基礎設施仍然是三條平行線獨立演進。

而在大模型開啓的 AI 原生時代,這三條平行線終於迎來了交匯:

在應用層,大模型獨有的理解、生成、邏輯、記憶的能力將會在場景中以 AI 原生應用的方式落地。

與此同時,大模型會成爲通用的服務,即 MaaS,這將大幅降低 AI 落地的門檻、實現真正的 AI 普惠。

而作爲基礎設施的雲計算將會在大模型發展的驅動下,在 AI 原生應用的引領下發展成爲 AI 原生雲,重塑雲計算的產業格局。


2    生成式 AI 催生研發新範式:新架構、新服務、新計算

生成式 AI 會催生新的研發範式,這體現在 AI 原生應用落地需要新的架構指導,AI 模型能力的研發和推理需要新的服務承載,而基礎設施也會發展出以 AI 爲核心的新的計算體系結構。
下面我們逐個來介紹一下:
第一,新的架構 。AI 原生應用是面向大模型,以大模型爲核心來設計的,要充分發揮大模型新的特徵,因此對應用提出了新架構的要求。
我們認爲構建 AI 原生應用需要幾個關鍵技術組件:
  • 首先是 Model,就是模型能力,將以 API 調用的形式提供服務。 這裏的模型包含基礎模型也包括客戶自己的微調模型。
  • 然後是 Prompt,幫助用戶從模型獲得更好的回答。
  • 還有 Chain 和 Agent 來實現靜態編排和動態編排,利用大模型的獨有能力實現鏈式調用。
這些是可以更好使用到的模型能力,是大語言模型帶來的變化。而因爲這些變化,應用自然需要對其數據流和業務流進行重塑。
第二,新的服務 模型能力將成爲新的基礎服務 MaaS,而 MaaS 需要具備模型豐富、易用和麪向 AI 原生的三個特點。這要求:
首先,大模型平臺應該提供豐富的大模型供客戶選擇。因爲我們相信應用一定是「通專結合」的,未來不可能一個模型解決所有問題,需要模型組合去滿足不同客戶場景的需求。
其次,大模型平臺要簡單易用,需要有全套工具鏈 ,覆蓋從數據收集標註到模型研發訓練評估,再到模型上線推理優化的全生命週期。
最後,大家都知道數據對於 AI 模型至關重要,平臺需要幫助客戶建立起自己的數據閉環能力,更好支持客戶模型迭代。
第三:新的計算 。大模型需要進行大量數據的高密度計算,對於計算體系結構帶來新的要求。
我們看到計算負載在加速向異構計算遷移,且規模越來越大。微秒級互聯成爲將算力規模化擴展的關鍵能力。這些都需要我們從整個體系結構的層面上,用軟硬一體的方法去解決。
下面我會進一步介紹 AI 原生應用新架構、模型新服務和麪向 AI 的新計算基礎設施。

3    Prompt the Future,讓 AI 原生應用開發更簡單

AI 需要在場景內落地,這將由一個應用來實現承載。一個 AI 原生應用如何設計、都包含哪些服務組件,我想這是大家非常關心的。
我這裏分享一下一般的業務調用流是什麼樣的。大模型應用流程從用戶的一次請求開始,系統先對用戶意圖進行拆解編排,得到的多個子任務通常以領域知識增強、搜索增強等方式實現,輸出的內容通過大語言模型合成完整結果,最後經過安全模塊的審計後返回給用戶。基礎設施爲任務的編排調試、系統的日誌監控等提供支持。這是一個基本的大模型業務調用流。
而 AI 原生應用開發的背後則需要三個關鍵的能力:一是高效的應用開發環境,百度會提供低代碼工具、豐富的垂類應用模板和可視化調試工具;二是豐富的領域增強支持,百度提供自研向量數據庫及數據湖、搜索增強等服務;三是完備的內容安全保障,我們提供多種手段保障輸出內容的安全。
基於以上能力,客戶可以非常方便搭建一個 AI 原生應用。


4    千錘百煉,讓模型應用更便捷

剛纔抖的分享,大家已經看到我們千帆大模型平臺 2.0 的超強能力,幫助企業跨越大模型應用的鴻溝。 千帆大模型平臺正是按照 AI 原生的全新技術棧打造,在數據、Model、Prompt、Chain、Agents 每一層都提供了豐富的功能和組件,讓大模型應用更便捷。
千帆平臺的特點總結起來有三個:
  • 一是提供多個好用的大模型,不僅有百度自研的文心一言,也提供了多個第三方大模型。同時面向這些模型,提供了重訓、微調等可視化工具,支持快速便捷的訓模型。

  • 二是提供豐富的生態工具並配合整體百度智能雲的服務,爲大模型落地應用做好了準備。

  • 三是預置豐富的數據集,同時也支持應用數據回饋到模型迭代更新,實現數據主動驅動業務迭代。

千帆平臺爲大模型的研發、服務提供了全生命週期的支持。


5    迭代新生,讓基礎設施更智能

在基礎設施層,百度研發了百舸異構計算平臺。百舸平臺爲大模型和 AI 原生應用提供了:穩定高可靠的系統、高性能的訓練推理服務和基於高速網絡的數據交換能力。
在高可靠方面 大規模並行訓練的穩定性是客戶關注的基礎設施關鍵能力之一,百舸具備 強大的容錯能力,能做到秒級故障感知、分鐘級自動故障容錯,能實現萬卡訓練月級不中斷,充分滿足 客戶大模型訓練需求。
在高性能方面 ,經過百度多年在 AI 基礎設施上的積累,百舸已經實現對公開模型庫的訓練性能提升 30%+,推理吞吐提升 10 倍。
在高速網絡方面 ,我們有自研的高速網絡,支持更低的通信延時和更大的通信吞吐,爲算力規模的擴張打好了基礎。

6    百度智能雲 AI 原生雲產品全景圖

面對 AI 原生時代的歷史機遇,百度智能雲已經打造了全方位的產品。這裏我們展示一下百度 AI 原生雲的產品全景圖,大家可以看到我分享的內容只是其中一小部分,更多的產品分享會在下午的《智能計算&大模型技術》分論壇,歡迎大家到時蒞臨我們分論壇現場。

7    AI 普惠,讓智能觸手可及

實現 AI 普惠是我們的信念,我們一直致力於讓每一個人、每一個組織都能享受到AI 技術的便利,打破數字鴻溝,實現公平與進步,讓智能觸手可及,用科技讓複雜的世界更簡單,謝謝大家!

本文分享自微信公衆號 - 百度開發者中心(baidudev)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章