今年3月，百度智能雲推出“千帆大模型平臺”。作爲全球首個一站式的企業級大模型平臺，千帆不但提供包括文心一言在內的大模型服務及第三方大模型服務，還提供大模型開發和應用的整套工具鏈，能夠幫助企業解決大模型開發和應用過程中的所有問題。
本次千帆大模型平臺升級的目的是給企業、開發者提供更加靈活、多樣化、高效的大模型服務，客戶可選擇最適合自身業務的大模型，再利用千帆大模型平臺全套工具鏈進行模型再訓練、指令微調等，高效率、低成本地打造企業專屬大模型。此外，海量Prompt模板庫可提高大模型內容準確性和滿意度。
千帆接入Llama 2等33個大模型
推理成本最高可降低50%
當前，開源大模型生態發展迅速，大量優質模型湧現，在不同任務場景、參數量級與算力環境下體現出了差異化優勢。如何選擇適合的大模型、如何應用大模型能力提升市場競爭力，成爲越來越多企業迫切探索的方向。
文心大模型是百度發佈的產業級知識增強大模型，據IDC最新發布的《AI大模型技術能力評估報告，2023》顯示，文心大模型得到“綜合評分第一，算法模型第一，行業覆蓋第一”三個絕對第一。而在文心大模型3.5版支持下的文心一言，中文能力突出，在多個公開測評也顯示有超出GPT-4的表現。
爲滿足企業對大模型多樣的需求，千帆大模型平臺以文心大模型爲核心，同時全面接入Llama 2全系列、ChatGLM2-6B、RWKV-4-World、MPT-7B-Instruct、Falcon-7B等33個大模型，成爲國內擁有大模型最多的平臺。
企業用戶可將不同大模型搭配使用，以滿足不同細分場景的業務需求。企業和開發者可以登陸千帆大模型平臺操作檯，在“模型倉庫”中直接調用、部署。
對每一個大模型進行了二次性能增強，通過優化模型吞吐、降低模型尺寸，實現模型推理速度的大幅提升。據測算，調優後模型體積可壓縮至25%-50%，推理性能顯著提升。這意味着，企業在千帆大模型平臺上調用這些模型可極大地節約成本，提升效果。
對第三方大模型做了二次安全增強，更好管控模型輸出的安全性。客戶在千帆大模型平臺上調用第三方模型，也享有平臺的安全保障。
爲方便開發者和企業做模型調優，千帆大模型平臺還提供多種低門檻調優工具，包括SFT（全量參數微調、Prompt Tuning、LoRA）及強化學習（獎勵模型學習、強化學習訓練）等，同一模型可通過多種方式持續調優。此外，千帆大模型平臺還支持數據迴流功能，可在實際生產過程中持續微調，提升模型效果。
上線國內最全Prompt海量模板庫
大幅優化模型輸出效果
Prompt是指通過自然語言向大模型提出問題/提示，幫助大模型更好地理解人類的問題。實際應用時，大模型往往因爲Prompt缺乏針對性、描述不清晰等原因影響到內容準確性。
爲幫助客戶提高Prompt提問質量、提升模型輸出滿意度，本輪升級後，千帆大模型平臺上線了海量預置Prompt模板庫，模板數量多達103個，包含對話、編程、電商、醫療、遊戲、翻譯、演講等十餘個常見場景。用戶可以根據需求選擇合適的模板，直接輸出給大模型, 即可提高模型內容的針對性和準確度。
不少企業使用大模型時，認爲效果不好是模型本身的問題，其實很多時候重新編寫Prompt就能達到預想的效果。海量Prompt模板的推出，大幅降低了Prompt撰寫難度。很多情況下，企業無需花費大量資源調優大模型，基於模板優化Prompt，即可得到滿意的模型效果。
如今，大模型正在重塑各行各業，進入產業落地期。爲降低大模型使用門檻，百度智能雲千帆大模型平臺將持續匯聚優質的大模型資源，提供易用可靠的大模型工具鏈，幫助每個企業、開發者打通擁抱大模型的最短路徑，共同探索大模型與行業結合的創新實踐。
本文分享自微信公衆號 - 百度開發者中心（baidudev）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。