ChatGLM-6B雲服務器部署(以恆源云爲例)

寫在前面:

ChatGLM-6B 是一個開源的、支持中英雙語的對話語言模型,基於 General Language Model (GLM) 架構,具有 62 億參數,使用了和 ChatGPT 相似的技術,針對中文問答和對話進行了優化。由於其對顯存硬件要求較高(詳見下圖),對於硬件配置較低的使用者不太友好,因此可嘗試部署在雲端,以此實現低配高效。

image-20230409125717715

一、下載源碼和模型

源碼:https://github.com/THUDM/ChatGLM-6B

模型:https://huggingface.co/THUDM/chatglm-6b(模型文件較大,若Huggingface上下載較慢可用清華雲盤https://cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/)

將模型文件放入chatglm_6b的文件夾內

image-20230409014040940

然後將兩個文件夾壓縮成zip格式。

二、上傳模型數據

註冊好賬號後,下載oss_windows_x86_64.exe,重命名爲oss.exe後,在在當前目錄進入cmd,執行.\oss login命令,輸入恆源雲平臺賬號和密碼登錄。

image-20230409014944689

執行.\oss cp 壓縮文件所在目錄\xxx.zip oss:// 命令,上傳本地當前目錄數據到個人數據根目錄

image-20230409014826718

三、創建實例

在恆源雲篩選需要的主機配置(GPU需在16G以上),選擇實例鏡像,創建實例。

image-20230409015314707

image-20230409015655905

四、使用實例

1.打開JupyterLab來登陸實例

2.打開終端(Terminal)進入實例系統內

image-202304090242003103.執行oss login命令,登陸個人數據空間,輸入恆源雲平臺賬號和密碼登錄,賬號爲手機號

4.執行cd /hy-tmp命令,進入下載路徑,如果有共享存儲的機型可以用選擇hy-nas
6.執行oss cp oss://xxx.zip .命令,將個人數據中的xxx.zip下載到當前目錄中
7.執行unzip -q xxx.zip命令,解壓 xxx.zip 文件到當前目錄

8.執行cd /hy-tmp/ChatGLM-6B-main指令轉到解壓後的文件夾

9.執行pip install -r requirements.txt,安裝依賴。此處如報錯,要注意是否正確打開文件夾路徑( requirements.txt文件位於/hy-tmp/ChatGLM-6B-main內)

10.執行python cli_demo.py運行cli_demo.py文件。運行中需要加載8個模型。如果途中報錯如圖,先檢查自己的庫中是否裝了下面三個庫 certifi、cryptography、pyOpenSSL,沒有的話請依次安裝:

pip install certifi
pip install cryptography
pip install pyOpenSSL

程序會在命令行中進行交互式的對話,在命令行中輸入指示並回車即可生成回覆,輸入 clear 可以清空對話歷史,輸入 stop 終止程序。

至此,就基本完成了命令行式的交互。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章