Meta最新推出的開源大模型llama-3,被譽爲目前最強的開源大模型，能力接近於GPT 4.5. 因此在本地搭建一下搶鮮體驗
系統環境
CPU: AMD Ryzen 5 3600X 6-Core Processor 4.10 GHz
RAM: 32G
GPU: Navida 2060S 8G
DISK: SSD 100 G Free
基於上述自身條件，裝llama-3 8b版本比較實際。
整個安裝使用Ollama，5分鐘安裝完成正常運行
用Ollama運行llama-3
點擊這裏下載 Ollama Windows Preview版本。我下載msi包，完成下載後直接安裝
完成安裝後直接打開命令行提示符或者Power Shell。運行
# 由於ollma運行模型時只支持localhost和127.0.0.1訪問，所以還要設置一下局域網內可訪問，即設置環境變量OLLAMA_HOST爲0.0.0.0
setx OLLAMA_HOST "0.0.0.0"
ollama run llama3:8b
等待ollama下載llama3完成並運行，成功運行後顯示結果如下：
這樣就可以在命令行中進行問答。
增加Web UI
如果需要一個像ChatGPT網頁版那樣的UI界面，還需要多做一步，就是安裝Open WebUI, 直接到他們的github代碼庫上去看安裝指導，用Docker安裝非常簡單，我本地用的WSL2，所以用WSL2跑Open WebUI. 運行以下命令就行
docker pull ghcr.io/open-webui/open-webui:main
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://宿主機IP:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
安裝結果如下：
然後，瀏覽器裏輸入 http://localhost:3000/ 就可以看到運行起來的網頁版了。
結語
這樣，llama-3就在短時間之內在本地搭建起來了，不過體驗下來，8b還是差了點意思，首先中文支持確實不大友好，再就是也經常扯淡答非所問。所以玩玩可以，真正幹活還是要用大參數版本的。