原创 聊聊ChatGLM-6B醫療數據微調
轉載請註明出處: https://www.cnblogs.com/zhiyong-ITNote/ 參考了多個醫療大模型,如扁鵲、靈心等,重新思考了下微調的方案以及數據集的格式;基於ChatGLM/其它LLM整合多種微調方法的非官方實現的
原创 聊聊大模型的微調實現及其應用
轉載請備註出處: https://www.cnblogs.com/zhiyong-ITNote 微調框架概述 模型的微調有多種方式,對於入門的來說,一般都是基於官方的文檔微調;最近發現很多開源庫,其目的就是支持應用多種微調策略來微調模型
原创 聊聊ChatGLM-6B源碼分析(二)
基於ChatGLM-6B第一版,要注意還有ChatGLM2-6B以及ChatGLM3-6B 轉載請備註出處:https://www.cnblogs.com/zhiyong-ITNote/ ChatGLMPreTrainedModel
原创 聊聊ChatGLM中P-tuning v2的應用
論文PDF地址:https://arxiv.org/pdf/2110.07602.pdf 轉載請備註出處:https://www.cnblogs.com/zhiyong-ITNote/ P-Tuning v2 摘錄自第三部分 桔
原创 聊聊ChatGLM-6B的源碼分析
基於ChatGLM-6B第一版,要注意還有ChatGLM2-6B以及ChatGLM3-6B 轉載請備註出處:https://www.cnblogs.com/zhiyong-ITNote/ PrefixEncoder 作用:在微調時(
原创 聊聊 從源碼來看ChatGLM-6B的模型結構
基於ChatGLM-6B第一版,要注意還有ChatGLM2-6B以及ChatGLM3-6B 概述 ChatGLM是transformer架構的神經網絡模型,因此從transformer結構入手,分析其源碼結構。 transformer結
原创 聊聊ChatGLM6B的微調腳本及與Huggingface的關聯
本文首先分析微調腳本trainer.sh的內容,再剖析ChatGLM是如何與Huggingface平臺對接,實現transformers庫的API直接調用ChatGLM模型,最後定位到了ChatGLM模型的源碼文件。 腳本分析 微調腳本:
原创 聊聊ChatGLM-6B部署與微調的深入理解
ChatGLM的部署,主要是兩個步驟: 在Github上下載chatglm的庫文件 在Hugging Face上下載模型參數與配置文件 ChatGLM包 從Github上看ChatGLM項目文件的結構來看,僅僅是包含三種部署方式的py代
原创 聊聊流式數據湖Paimon(五)
從Demo入手,瞭解Paimon/Flink項目搭建的全過程。記錄下採坑之旅。 創建Flink項目 在IDEA中創建Flink項目,由於沒有Flink的archetype,因此需要手動創建一下。 參考:idea快速創建flink項目,至此F
原创 聊聊流式數據湖Paimon(四)
Partial Update 數據打寬 通過不同的流寫不同的字段,打寬了數據的維度,填充了數據內容;如下所示: --FlinkSQL參數設置 set `table.dynamic-table-options.enabled` = `
原创 聊聊流式數據湖Paimon(二)
當前的問題 Apache Paimon 最典型的場景是解決了 CDC (Change Data Capture) 數據的入湖;CDC 數據來自數據庫。一般來說,分析需求是不會直接查詢數據庫的。 容易對業務造成影響,一般分析需求會查詢全表,
原创 聊聊流式數據湖Paimon(三)
概述 如果表沒有定義主鍵,則默認情況下它是僅追加 表類型(Append Only Table)。 根據桶(Bucket)的定義,我們有兩種不同的僅追加模式:"Append For Scalable Table"和"Append For Qu
原创 聊聊流式數據湖Paimon(一)
翻譯自 Apache Paimon官方文檔 概覽 概述 Apache Paimon (incubating) 是一項流式數據湖存儲技術,可以爲用戶提供高吞吐、低延遲的數據攝入、流式訂閱以及實時查詢能力。 簡單來說,Paimon的上游是
原创 聊聊Flink必知必會(六)
Flink是一個分佈式系統,需要有效地分配和管理計算資源才能執行流應用程序。它集成了所有常見的集羣資源管理器,如Hadoop YARN和Kubernetes,但也可以設置爲作爲一個獨立的集羣運行,甚至作爲一個庫。 Flink集羣的剖析 Fl
原创 聊聊Flink必知必會(七)
What is State 雖然數據流中的許多操作一次只查看一個單獨的事件(例如事件解析器),但某些操作會記住多個事件的信息(例如窗口算子)。 這些操作稱爲有狀態的(stateful)。 有狀態操作的一些示例: 當應用程序搜索某些事件模式