VisualGLM-6B安裝教程
簡介
VisualGLM-6B 是一個開源的,支持圖像、中文和英文的多模態對話語言模型,語言模型基於 ChatGLM-6B,具有 62 億參數;圖像部分通過訓練 BLIP2-Qformer 構建起視覺模型與語言模型的橋樑,整體模型共78億參數。
結合模型量化技術,用戶可以在消費級的顯卡上進行本地部署(INT4量化級別下最低只需8.7G顯存)。
開源地址
1. 創建新的虛擬環境
conda create -n visualglm python==3.10.6
conda activate visualglm
#前往https://pytorch.org/
#找到適合自己的pytorch版本
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117
#下載代碼(可以使用git或者download zip上傳服務器解壓)
git clone https://github.com/THUDM/VisualGLM-6B.git
cd VisualGLM-6B
#安裝項目依賴包
pip install -i https://pypi.org/simple -r requirements.txt
2. 啓動服務
#web_demo.py中的兩個參數
--quant {8,4} quantization bits (量化位)
# parser.add_argument("--quant", choices=[8, 4], type=int, default=None) #8bits 與4bits
#parser.add_argument("--share", action="store_true") #share爲true是表示開始共享服務 爲false 表示只能通過本地訪問127.0.0.1:7860
python web_demo.py --quant 8 --share
3. 遇到的問題
執行python web_demo.py後訪問頁面127.0.0.1:7860進行測試出現以下錯誤
Error: Library cudart is not initialized
#Solution
#步驟1 查詢cuda運行時版本
conda list | grep cuda
#nvidia-cuda-runtime-cu11 11.7.99 pypi_0 pypi
# 使用conda安裝cudatoolkit
conda install cudatoolkit=11.7 -c nvidia