原创 聊聊從大模型來看NLP解決方案之UIE
轉載請備註出處：https://www.cnblogs.com/zhiyong-ITNote 概述 自然語言處理NLP任務的實現，相比較以前基於傳統機器學習算法實現方法，現在越來越集中使用大模型來實現。 通過——數據標註-模型訓練-模型
2024-04-22 14:33:25
原创 聊聊大模型的屏蔽詞工程
轉載請備註出處：https://www.cnblogs.com/zhiyong-ITNote 概述 在做微調訓練時，鑑於業務場景的需要，可能會存在微調數據集中含有敏感詞彙，譬如：自殺、跳樓等。而開源模型可能沒有做敏感詞彙的屏蔽工程。因此
2024-04-16 14:32:47
原创 聊聊ChatGLM3多用戶併發API調用的問題
轉載請備註出處：https://www.cnblogs.com/zhiyong-ITNote 背景 目前在公司內部4張A10的GPU服務器上部署了ChatGLM3開源模型；然後部署了官方默認的web_demo、api_demo兩種模式；
2024-04-09 14:32:44
3
原创 聊聊大模型"打字機"效果的背後技術——SSE
轉載請註明出處：https://www.cnblogs.com/zhiyong-ITNote SSE：Server Sent Event；服務器發送事件。 Server-Sent Events（SSE）是一種由服務器向客戶端推送實時數據
2024-03-28 14:33:12
原创 聊聊多模態大模型處理的思考
轉載請註明出處：https://www.cnblogs.com/zhiyong-ITNote 多模態：文本、音頻、視頻、圖像等多形態的展現形式。 目前部門內業務要求領域大模型需要是多模態——支持音頻/文本。從個人思考的角度來審視下，審視
2024-03-27 14:39:42
原创 聊聊ShareGPT格式的微調數據集
轉載請註明住處：https://www.cnblogs.com/zhiyong-ITNote 概述 ShareGPT格式的數據集中，一般是如下格式： [ { "conversations": [ {
2024-03-25 14:41:54
5
原创 聊聊心理醫療領域大模型的落地思考
轉載請註明出處：https://www.cnblogs.com/zhiyong-ITNote 近來，工作偏向於心理醫療領域方面的大模型，僅從領域大模型的落地，聊聊個人的一些思考。 硬件 準備好花錢買GPU。 領域大模型 業務場景的思考
2024-03-21 14:36:09
1
原创 聊聊大模型微調訓練全流程的思考
轉載請註明出處：https://www.cnblogs.com/zhiyong-ITNote 參考現有的中文醫療模型：MedicalGPT、CareGPT等領域模型的訓練流程，結合ChatGPT的訓練流程，總結如下： 在預訓練階段，模型
2024-03-19 14:32:42
4
原创 聊聊ChatGLM-6B醫療數據微調
轉載請註明出處: https://www.cnblogs.com/zhiyong-ITNote/ 參考了多個醫療大模型，如扁鵲、靈心等，重新思考了下微調的方案以及數據集的格式；基於ChatGLM/其它LLM整合多種微調方法的非官方實現的
2024-03-16 14:33:33
1
原创 聊聊大模型的微調實現及其應用
轉載請備註出處: https://www.cnblogs.com/zhiyong-ITNote 微調框架概述 模型的微調有多種方式，對於入門的來說，一般都是基於官方的文檔微調；最近發現很多開源庫，其目的就是支持應用多種微調策略來微調模型
2024-03-15 14:32:40
1
原创 聊聊ChatGLM-6B源碼分析(二)
基於ChatGLM-6B第一版，要注意還有ChatGLM2-6B以及ChatGLM3-6B 轉載請備註出處：https://www.cnblogs.com/zhiyong-ITNote/ ChatGLMPreTrainedModel
2024-01-12 14:45:30
3
原创 聊聊ChatGLM中P-tuning v2的應用
論文PDF地址：https://arxiv.org/pdf/2110.07602.pdf 轉載請備註出處：https://www.cnblogs.com/zhiyong-ITNote/ P-Tuning v2 摘錄自第三部分 桔
2024-01-11 14:38:46
4
原创 聊聊ChatGLM-6B的源碼分析
基於ChatGLM-6B第一版，要注意還有ChatGLM2-6B以及ChatGLM3-6B 轉載請備註出處：https://www.cnblogs.com/zhiyong-ITNote/ PrefixEncoder 作用：在微調時（
2024-01-08 15:51:20
16
原创 聊聊 從源碼來看ChatGLM-6B的模型結構
基於ChatGLM-6B第一版，要注意還有ChatGLM2-6B以及ChatGLM3-6B 概述 ChatGLM是transformer架構的神經網絡模型，因此從transformer結構入手，分析其源碼結構。 transformer結
2024-01-07 15:14:24
5
原创 聊聊ChatGLM6B的微調腳本及與Huggingface的關聯
本文首先分析微調腳本trainer.sh的內容，再剖析ChatGLM是如何與Huggingface平臺對接，實現transformers庫的API直接調用ChatGLM模型，最後定位到了ChatGLM模型的源碼文件。 腳本分析 微調腳本：
2024-01-04 14:41:44
1