4月19日，Meta發佈了最新的大語言模型LLaMA3，具體包括一個 8B 模型和一個 70 B 模型，上下文長度支持8K， 被譽爲史上最強開源大語言模型，開源社區的“重磅炸彈”，效果直指GTP4。在諸多評測任務上，LLaMA3都有非常炸裂的效果。 8B模型在多項指標中超越了Gemma 7B和Mistral 7B Instruct，而70B模型則超越了閉源的Claude 3 Sonnet，和Gemini Pro 1.5。具體的評測報告可以參見： https://github.com/meta-llama/llama3/blob/main/eval_details.md
由於Llama 3 選擇了相對標準的純解碼器 Transformer 架構，根據各方信息推測，性能提升主要來自數據質量的提升。一是使用了15T的預訓練數據，相比Llama 2提高了7倍，並且大幅提高了代碼的使用量，以增強模型的推理能力。二是使用了詞彙量爲128K的標記器，相比Llama 2使用的 32K 標記器，改善了標記化的粒度。另外，在8B 和 70B 大小的模型上採用了分組查詢注意力 (GQA)，提高了Llama 3的推理效率。
開源社區對此反響強烈，短短5天，Hugging Face上已經有了1000多個變種，而且數字還在持續增長。
面對AI行業一波又一波的巨大事件，我們在讚美和焦慮之外，能做點什麼呢？雖說不上躬身入局，但總想讓稍微感受一下AI巨浪帶來的點點漣漪。不是有句老話說得好麼，不是AI取代人類，而是懂AI的人取代不懂AI的人。
於是我用百度找到了LLaMA3的體驗地址：https://www.meta.ai/。但當我在瀏覽器輸入並等待了10分鐘後，我放棄了..... 網絡問題，無情的阻礙了我進步的腳步。 我再次打開百度，想試試能不能在本地安裝一個LLaMA3，但當我看到60G的模型大小，以及昂貴的GPU算力，以及各種程序報錯時，我又一次知難而退了。是堅持，還是放棄，這是個問題。。。。。
直到，我在京東雲上看到了這個產品.....
什麼？ 20分鐘，構建你自己的LLaMA3應用程序！
於是，我打開手機計時器，開始了我尋找AI浪花之旅
第一步，進入京東智算服務控制檯： https://gcs-console.jdcloud.com/instance/list
第二步，點擊創建按鈕購買GPU實例，注意計費方式一定選擇“按配置”，就是按使用時長進行計費，一個小時才1.89，充值2塊錢，就能玩2個小時，真是良心。 點擊“立即購買”下單。
第三步，在實例列表頁面，等待實例狀態變爲“運行中”，然後點擊Jupyter進入AI的開發環境。
第四步，在Jupyter頁面中，點擊進入Terminal終端，執行如下命令：
cp -r /gcs-pub/llama-factory/ /data/
第五步：在左側的目錄樹中，找到llama-factory/src/web_demo.py文件，雙擊打開，然後把server_port修改爲28888，Ctrl+S保存這個修改。
第六步：再次打開剛纔的終端，分別執行下面幾行命令：
cd /data/llama-factory
conda create -n liandan python=3.10 -y
conda activate liandan
pip install -e .[metrics]
CUDA_VISIBLE_DEVICES=0 python src/web_demo.py --model_name_or_path /gcs-pub/Meta-Llama-3-8B-Instruct --template llama3這個平臺的特點是速度特別快，比其他平臺都快，幾分鐘後，我看到了勝利的曙光...
第七步： 在控制檯實例列表頁面（https://gcs-console.jdcloud.com/instance/list），點擊該實例的最後一欄，操作-應用-自定義應用，於是乎，LLaMA3就顯出了原型。
聽說這個平臺還能無代碼直接啓動文生圖應用，等下次我再試試吧，現在要迫不及待的開始調戲LLaMA3啦，完美！
作者：京東科技 彭建宏
來源：京東雲開發者社區