FastGPT 是一款專爲客服問答場景而定製的開箱即用的 AI 知識庫問答系統。該系統具備可視化工作流功能,允許用戶靈活地設計複雜的問答流程,幾乎能滿足各種客服需求。
在國內市場環境下,離線部署對於企業客戶尤爲重要。由於數據安全和隱私保護的考慮,企業通常不願意將敏感數據上傳到線上大型 AI 模型 (如 ChatGPT、Claude 等)。因此,離線部署成爲一個剛需。
幸運的是,FastGPT 本身是開源的,除了可以使用其在線服務外,也允許用戶進行私有化部署。相關的開源項目代碼可以在 GitHub 上找到:https://github.com/labring/FastGPT
正好上週 ChatGLM 系列推出了其最新一代的開源模型——ChatGLM3-6B。該模型在保留前兩代模型流暢對話和低部署門檻的優點基礎上,帶來了以下新特性:
-
更強大的基礎模型:ChatGLM3-6B 的基礎模型,名爲 ChatGLM3-6B-Base,具有更豐富的訓練數據、更合理的訓練策略和更多的訓練步數。在語義、數學、推理、代碼、知識等不同角度的數據集上測評顯示,ChatGLM3-6B-Base 具有在 10B 以下的預訓練模型中優秀的性能。
-
更完善的功能:ChatGLM3-6B 引入了全新設計的 Prompt 格式,除了支持正常的多輪對話,還原生支持如工具調用 (Function Call)、代碼執行 (Code Interpreter) 和 Agent 任務等複雜場景。
-
更全面的開源計劃:除了 ChatGLM3-6B,該團隊還開源了基礎模型 ChatGLM-6B-Base 和長文本對話模型 ChatGLM3-6B-32K。以上所有權重對學術研究完全開放,在登記後亦允許免費商業使用。
本文接下來將詳細介紹如何私有化部署 ChatGLM3-6B,並與 FastGPT 結合,構建一個完完全全私有化的 AI 知識庫問答系統。
通過這樣的整合,企業不僅可以保證數據安全,還能利用最新、最強大的 AI 技術來提升客服效率和用戶體驗。
One API 部署
FastGPT 可以通過接入 One API 來實現對各種大模型的支持,你可以參考 FastGPT 的文檔來部署 One API。
FastGPT 部署
如果你不嫌麻煩,可以選擇在本地使用 Docker Compose 來部署 FastGPT。
我推薦直接使用 Sealos 應用模板來一鍵部署,Sealos 無需服務器、無需域名,支持高併發 & 動態伸縮。打開以下鏈接即可一鍵部署 👇
https://cloud.sealos.top/?openapp=system-fastdeploy%3FtemplateName%3Dfastgpt
- root password 是默認的密碼,默認用戶名是 root。
- base url 填入 One API 提供的 API 接口。假設 One API 地址是 https://xxx.cloud.sealos.top,那麼 base url 就是 https://xxx.cloud.sealos.top/v1。如果你的 One API 和 FastGPT 都部署在 Sealos 中,這裏的 base url 可以填入 One API 的內網地址,例如我的內網地址是:http://one-api-wkskpejy.ns-sbjre322.svc.cluster.local:3000/v1
- api key 填入由 One API 提供的令牌。
填好參數之後,點擊【部署應用】:
部署完成後,點擊【確認】跳轉到應用詳情。
等待應用的狀態變成 running
之後,點擊外網地址即可通過外網域名直接打開 FastGPT 的 Web 界面。
我們暫時先不登錄,先把 ChatGLM3-6B 模型部署好,然後再回來接入 FastGPT。
ChatGLM3-6B 部署
ChatGLM3 的項目地址爲:https://github.com/THUDM/ChatGLM3
該項目 README 已經提供了在 GPU 環境中如何進行部署的詳細步驟。但本文我們將專門討論如何在沒有 GPU 支持的情況下,僅使用 CPU 來運行 ChatGLM3。
首先登錄 Sealos 國內版集羣:https://cloud.sealos.top/
然後打開【應用管理】:
應用名稱隨便填,鏡像名爲:registry.cn-hangzhou.aliyuncs.com/ryyan/chatglm.cpp:chatglm3-q5_1
CPU 和內存拉到最大值,不然跑不起來。容器暴露端口設置爲 8000。然後點擊右上角的【部署】:
部署完成後,點擊查看運行日誌:
很好,三分鐘解決戰鬥!
將 ChatGLM3-6B 接入 One API
打開 One API 的 Web 界面,添加新的渠道:
- 類型選擇 OpenAI。
- 名稱按自己的心意填。
- 模型名稱可以通過自定義模型名稱來設置,例如:ChatGLM3。
- 密鑰隨便填。
- 代理地址填入 ChatGLM3-6B 的 API 地址。如果你按照本教程把 One API 和 ChatGLM3-6B 全部部署在 Sealos 中,那就可以直接填 ChatGLM3-6B 的內網地址。
最後點擊【提交】即可。
將 ChatGLM3-6B 接入 FastGPT
最後我們來修改 FastGPT 的配置,將 ChatGLM3-6B 接入 FastGPT。
首先在 FastGPT 的應用詳情中點擊【變更】:
然後點擊配置文件中的 /app/data/config.json
:
將文件值修改爲如下的值:
{
"SystemParams": {
"pluginBaseUrl": "",
"openapiPrefix": "openapi",
"vectorMaxProcess": 15,
"qaMaxProcess": 15,
"pgIvfflatProbe": 10
},
"ChatModels": [
{
"model": "ChatGLM3",
"name": "ChatGLM3",
"price": 0,
"maxToken": 4000,
"quoteMaxToken": 2000,
"maxTemperature": 1.2,
"censor": false,
"defaultSystemChatPrompt": ""
}
],
"QAModels": [
{
"model": "ChatGLM3",
"name": "ChatGLM3",
"maxToken": 8000,
"price": 0
}
],
"CQModels": [
{
"model": "ChatGLM3",
"name": "ChatGLM3",
"maxToken": 8000,
"price": 0,
"functionCall": true,
"functionPrompt": ""
}
],
"ExtractModels": [
{
"model": "ChatGLM3",
"name": "ChatGLM3",
"maxToken": 8000,
"price": 0,
"functionCall": true,
"functionPrompt": ""
}
],
"QGModels": [
{
"model": "ChatGLM3",
"name": "ChatGLM3",
"maxToken": 4000,
"price": 0
}
],
"VectorModels": [
{
"model": "text-embedding-ada-002",
"name": "Embedding-2",
"price": 0.2,
"defaultToken": 700,
"maxToken": 3000
},
{
"model": "m3e",
"name": "M3E(測試使用)",
"price": 0.1,
"defaultToken": 500,
"maxToken": 1800
}
]
}
修改完成後,點擊【確認】,然後點擊右上角的【變更】,等待 FastGPT 重啓完成後,再次訪問 FastGPT,點擊【立即開始】進入登錄界面,輸入默認賬號密碼後進入 FastGPT 控制檯:
新建一個應用,模板選擇【簡單的對話】,點擊【確認創建】。
AI 模型選擇 ChatGLM3,然後點擊【保存並預覽】。
點擊左上角【對話】打開一個聊天會話窗口:
按國際慣例先來測試一下它的自我認知:
再來檢測一下數學能力:
邏輯推理能力:
接入 M3E 向量模型
剛剛我們只是測試了模型的對話能力,如果我們想使用 FastGPT 來訓練知識庫,還需要一個向量模型。FastGPT 線上服務默認使用了 OpenAI 的 embedding 模型,如果你想私有部署的話,可以使用 M3E 向量模型進行替換。M3E 的部署方式可以參考文檔:https://doc.fastgpt.in/docs/custom-models/m3e/