Ollama配置

下载安装ollama

打开ollama官网 https://ollama.ac.cn/ ,下载并安装ollama。
download.png

配置访问

注意
如果Chatbuddy AI使用Docker部署,也需启用 Ollama 允许外网访问。
如果你部署模型和Chatbuddy AI同一服务器或者主机,需启用允许外网访问。
allow-ollama.png

大语言模型配置

1
在ollama官网,搜索你要安装的模型,注意模型参数,选择主机能运行的模型,复制运行命令。
ollama-stie.png
2
教程以deepseek-r1:7b为例,复制后,在终端运行ollama run deepseek-r1:7b,运行成功后,显示如下。
run-llm.png
run-llm-success.png

Chatbuddy AI后台配置模型

1
加入密钥模板
登录Chatbuddy AI后台,选择【密钥管理】->【密钥模板】->【快速创建】,输入【模板名称】,加入baseUrlapiKey两个字段,接着【提交】。
add-key-template-1.png
add-key-template-2.png
2
加入密钥
注意
BaseUrl地址默认填写http://127.0.0.1:11434/v1 ,但是如果ollama修改过端口,按真实端口填写。如果使用Docker部署,ollama默认地址填写http://172.17.0.1:11434/v1 ,因为需容器访问主机地址,如果ollama部署在其他主机,填写其他可以访问通的地址。
选择【密钥列表】-> 【新增密钥, 填写【密钥名称】,选择上流程加入的密钥模板,BaseUrl填写ollama地址,apiKey任意填写,接着提交。
add-key.png
add-key2.png
3
加入模型厂商
选择【模型管理】->【自定义】,填写【供应商标识】和【供应商名称】,【API配置】选择上流程加入的配置,支持模型类型选择LLM,选择【创建】。
add-ollama-1.png
add-ollama-2.png
4
模型配置
注意
模型标识非常重要,无论是大语言模型或向量模型,需使用ollama时的模型标识。
选择【模型】,填写Ollama运行的具体模型和标识如deepseek-r1:7b,选择LLM,选择【创建】。
add-ollma.png
set-model.png
5
模型测试
大语言模型可以在前台测试是否配置成功。
test-model.png

319 篇文档 · 内容同步自官方帮助中心