原创 怎麼讓英文大語言模型支持中文?(三)進行指令微調
前面已經講過: 怎麼讓英文大語言模型支持中文?(一)構建中文tokenization 怎麼讓英文大語言模型支持中文?(二)繼續預訓練 這裏是最後一部分了:怎麼讓英文大語言模型支持中文?(三)對預訓練模型進行指令微調。 代碼已上傳到githu
原创 怎麼讓英文大預言模型支持中文?(一)繼續預訓練
代碼已上傳到github: https://github.com/taishan1994/chinese_llm_pretrained Part1前言 前面我們已經講過怎麼構建中文領域的tokenization: https://zhuan
原创 怎麼讓英文大預言模型支持中文?(一)構建自己的tokenization
代碼地址:https://github.com/taishan1994/sentencepiece_chinese_bpe Part1前言 目前,大語言模型呈爆發式的增長,其中,基於llama家族的模型佔據了半壁江山。而原始的llama模型
原创 anaconda和python之間的對應關係
對應關係: https://docs.anaconda.com/free/anaconda/reference/packages/oldpkglists/ 國內下載地址: https://mirrors.tuna.tsinghua.edu.
原创 【python】linux下安裝python的一般方法
下載python 網址:https://mirrors.huaweicloud.com/python/ 這裏以安裝python3.7.1爲例: wget https://www.python.org/ftp/python/3.7.1/Pyt
原创 你還弄不清xxxForCausalLM和xxxForConditionalGeneration嗎?
Part1基本介紹 大語言模型目前一發不可收拾,在使用的時候經常會看到transformers庫的蹤影,其中xxxCausalLM和xxxForConditionalGeneration會經常出現在我們的視野中,接下來我們就來聊聊trans
原创 LLM(大語言模型)解碼時是怎麼生成文本的?
Part1配置及參數 transformers==4.28.1 源碼地址:transformers/configuration_utils.py at v4.28.1 · huggingface/transformers (github.c
原创 【colab】怎麼在colab打開github上的ipynb文件
登錄:https://colab.research.google.com/github/ 將github上的ipynb文件路徑複製到框裏面即可。
原创 pytorch在有限的資源下部署大語言模型(以ChatGLM-6B爲例)
pytorch在有限的資源下部署大語言模型(以ChatGLM-6B爲例) Part1知識準備 在PyTorch中加載預訓練的模型時,通常的工作流程是這樣的: my_model = ModelClass(...)state_dict =tor
原创 GPT-NER:通過大型語言模型的命名實體識別
講在前面,chatgpt出來的時候就想過將其利用在信息抽取方面,後續也發現了不少基於這種大語言模型的信息抽取的論文,比如之前收集過的: https://github.com/cocacola-lab/GPT4IEhttps://githu
原创 怎麼裁剪LLM(大語言模型)的vocab(詞表)?
怎麼裁剪LLM(大語言模型)的vocab(詞表)? Part1前言 對於一些多語言的大語言模型而言,它的詞表往往很大。在下游使用這些模型的時候,可能我們不需要其它的一些語言,例如只需要中文和英文,此時,我們可以對其vocab進行裁剪,既可以
原创 DyLoRA:使用動態無搜索低秩適應的預訓練模型的參數有效微調
又一個針對LoRA的改進方法: DyLoRA: Parameter-Efficient Tuning of Pretrained Models using Dynamic Search-Free Low Rank Adaptation ht
原创 你也可以動手參數有效微調:LoRA、Prefix Tuning、P-Tuning、Prompt Tuning
Part1前言 隨着大語言模型的流行,如何讓大模型在消費級GPU上進行微調訓練成爲了熱點。掌握參數有效微調成爲每個自然語言處理工程師必不可少的技能,正好hugging face開源了一個PEFT庫,讓我們也能夠自己動手去了解參數有效微調。接
原创 Chinese-LLaMA-Alpaca技術報告
EFFICIENT AND EFFECTIVE TEXT ENCODING FOR CHINESE LL AMA AND ALPACA https://arxiv.org/pdf/2304.08177v1.pdf https://githu
原创 走向更好的指令伴隨的漢語語言模型:研究訓練數據和評估的影響
Towards Better Instruction Following Language Models for Chinese: Investigating the Impact of Training Data and Evaluati