寫在前面:
ChatGLM-6B 是一個開源的、支持中英雙語的對話語言模型,基於 General Language Model (GLM) 架構,具有 62 億參數,使用了和 ChatGPT 相似的技術,針對中文問答和對話進行了優化。由於其對顯存硬件要求較高(詳見下圖),對於硬件配置較低的使用者不太友好,因此可嘗試部署在雲端,以此實現低配高效。
一、下載源碼和模型
源碼:https://github.com/THUDM/ChatGLM-6B
將模型文件放入chatglm_6b的文件夾內
然後將兩個文件夾壓縮成zip格式。
二、上傳模型數據
註冊好賬號後,下載oss_windows_x86_64.exe,重命名爲oss.exe後,在在當前目錄進入cmd,執行.\oss login
命令,輸入恆源雲平臺賬號和密碼登錄。
執行.\oss cp 壓縮文件所在目錄\xxx.zip oss://
命令,上傳本地當前目錄數據到個人數據根目錄
三、創建實例
在恆源雲篩選需要的主機配置(GPU需在16G以上),選擇實例鏡像,創建實例。
四、使用實例
1.打開JupyterLab來登陸實例
2.打開終端(Terminal)進入實例系統內
3.執行oss login
命令,登陸個人數據空間,輸入恆源雲平臺賬號和密碼登錄,賬號爲手機號
4.執行cd /hy-tmp
命令,進入下載路徑,如果有共享存儲的機型可以用選擇hy-nas
6.執行oss cp oss://xxx.zip .
命令,將個人數據中的xxx.zip下載到當前目錄中
7.執行unzip -q xxx.zip
命令,解壓 xxx.zip 文件到當前目錄
8.執行cd /hy-tmp/ChatGLM-6B-main
指令轉到解壓後的文件夾
9.執行pip install -r requirements.txt
,安裝依賴。此處如報錯,要注意是否正確打開文件夾路徑( requirements.txt文件位於/hy-tmp/ChatGLM-6B-main內)
10.執行python cli_demo.py
運行cli_demo.py文件。運行中需要加載8個模型。如果途中報錯如圖,先檢查自己的庫中是否裝了下面三個庫 certifi、cryptography、pyOpenSSL,沒有的話請依次安裝:
pip install certifi
pip install cryptography
pip install pyOpenSSL
程序會在命令行中進行交互式的對話,在命令行中輸入指示並回車即可生成回覆,輸入 clear
可以清空對話歷史,輸入 stop
終止程序。
至此,就基本完成了命令行式的交互。