VisualGLM-6B安裝教程

VisualGLM-6B安裝教程

簡介

VisualGLM-6B 是一個開源的，支持圖像、中文和英文的多模態對話語言模型，語言模型基於 ChatGLM-6B，具有 62 億參數；圖像部分通過訓練 BLIP2-Qformer 構建起視覺模型與語言模型的橋樑，整體模型共78億參數。

結合模型量化技術，用戶可以在消費級的顯卡上進行本地部署（INT4量化級別下最低只需8.7G顯存）。

開源地址

1. 創建新的虛擬環境

conda create -n visualglm python==3.10.6
conda activate visualglm

#前往https://pytorch.org/
#找到適合自己的pytorch版本
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

#下載代碼（可以使用git或者download zip上傳服務器解壓）
git clone https://github.com/THUDM/VisualGLM-6B.git

cd VisualGLM-6B
#安裝項目依賴包
pip install -i https://pypi.org/simple -r requirements.txt

2. 啓動服務

#web_demo.py中的兩個參數
--quant {8,4}         quantization bits （量化位）
# parser.add_argument("--quant", choices=[8, 4], type=int, default=None) #8bits 與4bits
#parser.add_argument("--share", action="store_true") #share爲true是表示開始共享服務 爲false 表示只能通過本地訪問127.0.0.1:7860

python web_demo.py --quant 8 --share

3. 遇到的問題

執行python web_demo.py後訪問頁面127.0.0.1:7860進行測試出現以下錯誤
Error: Library cudart is not initialized
#Solution
#步驟1 查詢cuda運行時版本
conda list | grep cuda
#nvidia-cuda-runtime-cu11  11.7.99                  pypi_0    pypi
# 使用conda安裝cudatoolkit
conda install cudatoolkit=11.7 -c nvidia