近期Meta的羊駝模型(LLaMA)持續刷屏，楊立昆瘋狂轉發，在GPT4秀肌肉之前着實吸引了不少科研人員的眼球，開源的真香。
然而LLaMA模型並沒有進行指令微調，這不斯坦福馬上公佈了
Alpaca模型，該模型是由Meta的LLaMA 7B利用52k的指令微調出來的，據說性能約等於GPT-3.5。
該模型目前沒有開源，原因似乎是因爲huggingface還沒有正式支持LLaMA模型。有條件的可以自己復現一下他們的工作。
看了下他們的blog，原理大概如下:
- 修改了self-instruct的框架，通過175個人工種子指令，最終生成了5.2萬個，成本比原始的self-instruct要低，大概是500美元。
- 通過這5.2萬個樣本的指令數據集在LLaMA上進行微調。
原始的Self-instruct框架如下：
雖然說LLaMA最小的模型有7B，但是目前有很多方法可以減少其資源使用，比如llama.cpp(https://github.com/ggerganov/llama.cpp)，號稱可以樹莓派上進行推理。還有pyllama(https://github.com/juncongmoo/pyllama)，只用4G的GPU就可以推理。注意只是推理，訓練肯定使用的資源更多，但是7B的模型號稱有GPT-3.5的效果，不免讓人想試一下。
下載LLaMA模型
想要訓練，首先得把LLaMA-7B的模型給下載下來，總結了幾種方案如下：
1. 伸手黨
關注同名公衆號，然後回覆“llama”,即可得到百度網盤的下載鏈接。
2. 通過pyllama下載
- 安裝pyllama,
pip install pyllama -U - 下載7B的模型,
python -m llama.download --model_size 7B - 當然你也可以下載更大的模型，有7B,13B,30B,65B共計4種。
3. 通過ipfs下載
這個應該是最早泄漏的LLaMA模型，地址爲 https://ipfs.io/ipfs/Qmb9y5GCkTG7ZzbBWMu2BXwMkzyCKcUjtEKPpgdZ7GEFKm/
- 首先安裝ipfs客戶端，最好用帶界面的。https://docs.ipfs.tech/install/ipfs-desktop/
- 然後7B模型的index爲：QmbvdJ7KgvZiyaqHw5QtQxRtUd7pCAdkWWbzuvyKusLGTw