原创 基於Deepspeed實現LLaMA-13B或70B模型的微調
寫在前面 事實證明，在部分情況下，依然有開啓deepspeed的必要性 這是上一篇文章，講述使用雙卡/8卡3090微調llama2-70B/13B模型 - AlphaInf - 博客園 (cnblogs.com) 但這一篇文章，存在下面的幾
2024-02-03 13:23:41
2
原创 基於vllm 0.3.0部署 llama2-70B模型
寫在前面 VLLM框架升級了！ 0.3.0版本，擁有更高的推理速度（實測解析input的速度+40%），支持S-LoRA（一個主模型外套多個LoRA模型），很值得升級。 本篇文章將會記錄升級過程中遇到的坑爹事情 硬件環境 主板：PCIE
2024-02-02 13:24:36
2
原创 基於TigerBot-13b訓練其函數調用能力
寫在前面 原生的tigerbot似乎並不支持函數調用，於是我來支持一下 數據集 我在huggingface上找了個英文的數據集 https://huggingface.co/datasets/sadmoseby/sample-funct
2023-12-25 13:28:48
原创 使用8卡3090微調llama2-70B模型
寫在前面 很多問題尚未弄清，還在進一步調整 目前已知 我用8卡的3090 採用deepspeed ZeRO3進行運行，下面是deepspeed3的配置 1 { 2 "fp16": { 3 "enabled":
2023-12-09 13:25:15
7
原创 8卡3090GPU雲服務器上採用VLLM部署中文llama2-70b模型及OpenAI格式接口
TigerBot-70b-4k-v4 推理部署 模型本地部署（基於HuggingFace) 根據實際測試，加載模型需要約129G顯存，最低需要6張3090顯卡（流水線並行） 如果使用vllm進行加速推理（張量並行），考慮8張3090顯卡或者
2023-12-08 13:26:45
40
原创 OpenBuddy-LLaMA2-70B的三種部署方式
根據實際測試，加載模型需要130G顯存，最低需要4張A100*40G顯卡。 1.基於Transformers庫推理： 首先安裝最新版本的transformers： git clone https://github.com/huggingfa
2023-09-15 13:23:25
原创 Llama2模型預訓練，推理與微調測試
官方環境要求（推理、微調）： 本次部署使用單卡A100-40G顯卡。 部署 虛擬環境創建： conda create -n test python=3.10.9 conda activate test #啓動虛擬環境 拉取 Llama2-
2023-09-15 13:23:25
原创 GLM-130B 部署 - 8*3090-24G
官方文檔 鏡像要求A100-40G-8卡 硬件配置： 軟件配置： 1.準備 由於恆源雲暫時缺少硬件資源，此次部署使用8*3090-24G配置（需要量化int8）： 注意鏡像選擇，pytorch版本選擇1.13，不要選擇2.0，2.0
2023-09-15 13:23:25
2
原创 強化學習及過程監督學習筆記
寫在前面 筆者將在這篇文章中，寫下有關過程監督，反饋對齊，獎勵模型，和數據構造相關的論文的筆記。 論文主要來自Openai的論文。 問題坑 獎勵模型是如何輸出精確的標記的？在解決方案的每個標記後做出標量預測（具體細節？）。 論文挖坑列表
2023-06-12 13:23:22
2
原创 基於80C51單片機的出租車計費器設計
寫在前面 本文將詳細講解如何在Proteus中，使用80C51單片機，編寫彙編程序，實現出租車計費器，實現實時速度顯示，行使里程統計及費用統計，以及自動的清零。 該題包含兩個輸入和三個輸出，其中一個輸入是車輪轉動的更新信號，每更新一次代表車
2023-06-11 13:23:15
原创 80C51單片機機器碼的簡單總結
寫在前面 本文將記錄一些常見（也有不常見）的80C51單片機機器碼的簡單使用，不定期更新。 奇怪的寄存器 P1和P2是單片機對外連接的接口，可以輸出 TMOD是定時器模式設置的存儲器 TL0/TH0是定時器定時時間的設置存儲器 DPTR
2023-05-29 13:23:59
原创 chatglm-6b法律名詞數據訓練
整體流程於上一份微調文件基本一致，此份是詳細備份及關鍵說明： 1.處理文件 處理好法律名詞解釋爲json文件的格式，其中prompt column爲 content，response column 爲summary，如下： （如果KEY不是
2023-05-06 13:23:23
原创 chatglm-6b雲端微調
下載依賴 pip install rouge_chinese nltk jieba datasets 下載訓練數據集(示例) ADGEN 數據集任務爲根據輸入（content）生成一段廣告詞（summary）。 { "conten
2023-05-06 13:23:23
原创 ChatGLM-6B雲服務器部署（以恆源云爲例）
寫在前面： ChatGLM-6B 是一個開源的、支持中英雙語的對話語言模型，基於 General Language Model (GLM) 架構，具有 62 億參數，使用了和 ChatGPT 相似的技術，針對中文問答和對話進行了優化。由於其
2023-04-10 13:23:33
原创 如何使用OpenAI Fine-tuning API微調GPT-3模型
https://platform.openai.com/docs/guides/fine-tuning（官方文檔） 當我們使用語言模型時候，往往需要給多個例子供ai參考，才能給出更爲準確的回答，這種方法費時費力。而通過微調（Fin
2023-04-05 13:23:20
7