4月19日Meta重磅推出了最新大型開源人工智能(AI)模型——Llama 3,模型分爲兩種規模:8B 和 70B 參數,旨在讓個人、創作者、研究人員和各種規模的企業能夠負責任地試驗、創新和擴展他們的想法。
已經可以很方便的在本地部署、體驗。
Linux系統下安裝腳本:
curl -fsSL https://ollama.com/install.sh | sh
Windows系統下載安裝:
https://ollama.com/download/windows
macOS系統下載安裝:
https://ollama.com/download/mac
Docker下安裝腳本:
# CPU模式
docker run -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
# GPU模式
# 1.配置apt源
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
&& curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
# 2.更新源
sudo apt-get update
# 3.安裝工具包
sudo apt-get install -y nvidia-container-toolkit
# docker使用GPU運行ollama
docker run --gpus all -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
# docker部署ollama web ui
docker run -d -p 8080:8080 --add-host=host.docker.internal:host-gateway --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main
# 使用docker中的ollama下載並運行AI模型(示例爲阿里通義千問4b-chat)
docker exec -it ollama ollama run qwen:4b-chat
安裝完ollama後,拉取運行 llama3
# 運行模型 若沒有當前模型 則自動下載後再運行
ollama run llama3
# 僅下載模型 默認是8b模型 若其他模型則用 ollama pull llama3:70b
ollama pull llama3
# 查看當前已存在的模型
ollama list
# 刪除指定模型
ollama rm llama2
ollama run llama3 就可以開始對話了(若未下載該模型則自動下載)
先來個簡單的
有時候是用英文回答的,可以加上“用中文回答”
當然,目前的回答有時候還是比較“弱智”的
用來寫代碼
(⊙o⊙)… 要求用C# ,結果用的C, emmmm
個人體驗小感受:
1、感覺中文回答明顯要比英文回答慢一些;
2、回答中還是會冒出英文來;
3、對中文體驗還不是太好,尤其是文學方面;
4、不想自己部署,也可以在線體驗:https://llama3.replicate.dev/
來源:https://www.iwmyx.cn/aimxllama3tybj.html