ollama使用

ollama 仅支持。gguf的格式    其他格式需要llama.cpp 转换

curl https://ollama.ai/install.sh | sh

ollama --version

ollama pull llama2-chinese

 

ollama run llama2-chinese "天空为什么是蓝色的？"

 

 

ollama 如何修改model下

在Windows系统中修改模型下载地址

1. 打开系统的环境变量编辑器。

2. 在系统环境变量中找到或创建一个名为OLLAMA_MODELS的变量。

3. 将您希望的模型下载路径设置为这个变量的值。

例如，如果您希望模型下载到C:\myfolder\models，那么您可以将OLLAMA_MODELS设置为C:\myfolder\models。

 

 

载地址

 

 

 

https://github.com/open-webui/open-webui
If Ollama is on your computer, use this command:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main 

If Ollama is on a Different Server, use this command
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

http://localhost:3000/