CentOS7 上安裝部署chatglm2-6b

           按照說明文檔，先按照了最新版本的Python，官網下載了最新的版本3.11後，一頓操作感覺分分鐘就安裝完了。 但是繼續安裝chatglm2-6b 所需的依賴包時，就遇到了N多坑點，爲了解決這些坑點，耗時真的很長（按周計算的那種）。如果是CPU服務器，則至少需要30G內存。
           第一個坑點：安裝Python時，沒有帶SSL：

             解決辦法：詳細可以參考 這個大牛的 操作。

             首先安裝依賴包：

      yum install -y zlib zlib-dev openssl-devel sqlite-devel bzip2-devel libffi libffi-devel gcc gcc-c++

　　      安裝新版本的openssl（此處務必一定一定要去官網下載1.1版本的，而不是yum 直接安裝）

 

      wget http://www.openssl.org/source/openssl-1.1.1.tar.gz            （如果有網就可以直接下載，沒網就需要單獨下載安裝包通過終端工具從windows上傳到centos中）

      tar -zxvf openssl-1.1.1.tar.gz                                                （ 解壓對應版本安裝包）

      cd openssl-1.1.1                                                                （進入對應的解壓目錄）

      ./config --prefix=/usr/local/openssl shared zlib     (prefix爲配置安裝目錄，shared zlib 安裝依賴庫）這一步最重要，一定要shared
       
      make && make install  

 

             設置變量：

              echo "export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/openssl/lib" >> /usr/local/.bash_profile 

              source /usr/local/.bash_profile                        （重新加載該路徑下的用戶環境變量文件）

            安裝Python時，一定要加SSL

    ./configure --prefix=/usr/local//python3 --with-openssl=/usr/local//openssl 

            安裝完成後，務必要執行：

   python3                      （進入python3命令行）
   import ssl                        （導入ssl模塊）
   import _ssl                        （導入_ssl模塊）

             第二個坑點：root下不能執行pip install 命令，黃色警告內容就是坑。

           python3 -m venv tutorial-env       創建虛擬環境
           source tutorial-env/bin/activate    激活虛擬環境

           自此，安裝命令要改爲： python3 -m pip install 命令，否則還是會有問題。安裝相關依賴完畢。

           進入下載後的文件目錄，嘗試運行接口：

    python3 api.py

         默認會從互聯網下載相關依賴數據模型，大多情況下會報此錯：

           經過排查，是從這個 地址  下載所有文件。從分支上下載完文件後，放到服務器上的指定位置。修改Api.py 的文件：

          純CPU的話，切記要修改： 

        保存後，再次運行就正常了，提問：

 curl -X POST "http://127.0.0.1:8000" \
     -H 'Content-Type: application/json' \
     -d '{"prompt": "你好", "history": []}'

         就可以得到一般的回答了。

     

         網頁運行：

    pip3 install streamlit streamlit-chat    // 安裝相關依賴
     
    # 在運行前，務必要修改此文件。修改這兩行， 路徑是自己手動下載文件的位置。float 爲CPU模式

      streamlit run web_demo2.py       //  運行， 

            網頁運行後的效果：