原创 怎麼讓英文大語言模型支持中文?(三)進行指令微調

前面已經講過: 怎麼讓英文大語言模型支持中文?(一)構建中文tokenization 怎麼讓英文大語言模型支持中文?(二)繼續預訓練 這裏是最後一部分了:怎麼讓英文大語言模型支持中文?(三)對預訓練模型進行指令微調。 代碼已上傳到githu

原创 怎麼讓英文大預言模型支持中文?(一)繼續預訓練

代碼已上傳到github: https://github.com/taishan1994/chinese_llm_pretrained Part1前言 前面我們已經講過怎麼構建中文領域的tokenization: https://zhuan

原创 怎麼讓英文大預言模型支持中文?(一)構建自己的tokenization

代碼地址:https://github.com/taishan1994/sentencepiece_chinese_bpe Part1前言 目前,大語言模型呈爆發式的增長,其中,基於llama家族的模型佔據了半壁江山。而原始的llama模型

原创 anaconda和python之間的對應關係

對應關係: https://docs.anaconda.com/free/anaconda/reference/packages/oldpkglists/ 國內下載地址: https://mirrors.tuna.tsinghua.edu.

原创 【python】linux下安裝python的一般方法

下載python 網址:https://mirrors.huaweicloud.com/python/ 這裏以安裝python3.7.1爲例: wget https://www.python.org/ftp/python/3.7.1/Pyt

原创 你還弄不清xxxForCausalLM和xxxForConditionalGeneration嗎?

Part1基本介紹 大語言模型目前一發不可收拾,在使用的時候經常會看到transformers庫的蹤影,其中xxxCausalLM和xxxForConditionalGeneration會經常出現在我們的視野中,接下來我們就來聊聊trans

原创 LLM(大語言模型)解碼時是怎麼生成文本的?

Part1配置及參數 transformers==4.28.1 源碼地址:transformers/configuration_utils.py at v4.28.1 · huggingface/transformers (github.c

原创 【colab】怎麼在colab打開github上的ipynb文件

登錄:https://colab.research.google.com/github/ 將github上的ipynb文件路徑複製到框裏面即可。

原创 pytorch在有限的資源下部署大語言模型(以ChatGLM-6B爲例)

pytorch在有限的資源下部署大語言模型(以ChatGLM-6B爲例) Part1知識準備 在PyTorch中加載預訓練的模型時,通常的工作流程是這樣的: my_model = ModelClass(...)state_dict =tor

原创 GPT-NER:通過大型語言模型的命名實體識別

講在前面,chatgpt出來的時候就想過將其利用在信息抽取方面,後續也發現了不少基於這種大語言模型的信息抽取的論文,比如之前收集過的: https://github.com/cocacola-lab/GPT4IEhttps://githu

原创 怎麼裁剪LLM(大語言模型)的vocab(詞表)?

怎麼裁剪LLM(大語言模型)的vocab(詞表)? Part1前言 對於一些多語言的大語言模型而言,它的詞表往往很大。在下游使用這些模型的時候,可能我們不需要其它的一些語言,例如只需要中文和英文,此時,我們可以對其vocab進行裁剪,既可以

原创 DyLoRA:使用動態無搜索低秩適應的預訓練模型的參數有效微調

又一個針對LoRA的改進方法: DyLoRA: Parameter-Efficient Tuning of Pretrained Models using Dynamic Search-Free Low Rank Adaptation ht

原创 你也可以動手參數有效微調:LoRA、Prefix Tuning、P-Tuning、Prompt Tuning

Part1前言 隨着大語言模型的流行,如何讓大模型在消費級GPU上進行微調訓練成爲了熱點。掌握參數有效微調成爲每個自然語言處理工程師必不可少的技能,正好hugging face開源了一個PEFT庫,讓我們也能夠自己動手去了解參數有效微調。接

原创 Chinese-LLaMA-Alpaca技術報告

EFFICIENT AND EFFECTIVE TEXT ENCODING FOR CHINESE LL AMA AND ALPACA https://arxiv.org/pdf/2304.08177v1.pdf https://githu

原创 走向更好的指令伴隨的漢語語言模型:研究訓練數據和評估的影響

Towards Better Instruction Following Language Models for Chinese: Investigating the Impact of Training Data and Evaluati