一、window 本地安装指导
1.1、下载window安装包
https://ollama.com/download/OllamaSetup.exe
1.2、点击下载好的安装包进行安装
检测安装是否成功:
C:\Users\admin>ollama -v
ollama version is 0.5.7
有上面的输出,则证明已经安装成功。
配置系统的环境变量
# 配置ollama监听网址,这里表示监听所有网卡
OLLAMA_HOST=0.0.0.0:11434
# 下载的大模型存放路径
OLLAMA_MODELS=F:\ollama_model
这里最后重启下电脑,使得设置的环境变量生效。
1.3、运行需要的大模型
在ollama官网搜索,deepseek,这里选择deepseek-coder来进行部署
并且选择1.3b参数的模型进行部署(资源有限,先保证能用)。
运行命令为:
ollama run deepseek-coder
二、linux本地安装指导
ollama api使用指南:
https://github.com/datawhalechina/handy-ollama/blob/main/docs/C4/1.%20Ollama%20API%20%E4%BD%BF%E7%94%A8%E6%8C%87%E5%8D%97.md
2.1、下载安装ollama
1、安装ollama模型
curl -fsSL https://ollama.com/install.sh | sh
修改
/etc/systemd/system/ollama.service
添加上环境变量即可
OLLAMA_HOST=0.0.0.0:11434
重新启动ollama服务
sudo systemctl daemon-reload
sudo systemctl restart ollama
2.2、下载模型
ollama run deepseek-r1:1.5b
2.3、测试模型
curl http://localhost:11434/api/generate -d '{"model": "deepseek-r1:1.5b","prompt": "你是一个高级运维工程师。你的职责","stream": false
}'curl http://localhost:11434/api/chat -d '{"model": "deepseek-coder:latest","messages": [{"role": "user","content": "为什么草是绿的?"}],"stream": false
}'curl http://localhost:11434/v1/chat/completions -d '{"model": "deepseek-coder:latest","messages": [{"role": "user","content": "使用java实现一个冒泡排序算法"}],"stream": false
}'
三、IDEA接入私有化部署的Deepseek大模型
安装CodeGPT插件
3.1、在插件市场搜索CodeGPT,并进行安装。
3.2、配置codeGPT
安装上述图片描述进行配置。
其中URL:部署Deepseek的服务器的IP地址和端口
请求体中model参数是你安装那个deepseek大模型的名称。可以通过ollama list来列出已经安装的大模型。
[root@iZbp156z1grx9j03c0zl8tZ ~]# ollama list
NAME ID SIZE MODIFIED
deepseek-coder:latest 3ddd2d3fc8d2 776 MB About an hour ago
如果通过ollama安装了多个大模型,你可以指定其他大模型,但是名称要跟使用上面命令列出的模型名称保持一致。
指定刚刚配置的模型为我们的编码助手。
3.3、测试功能是否可用
经过测试,发现已经可以通过codeGPT插件调用Deepseek的大模型了。
四、Deepseek本地部署的大模型API调用
可以参考下面的文档进行使用
ollama api使用指南:
https://github.com/datawhalechina/handy-ollama/blob/main/docs/C4/1.%20Ollama%20API%20%E4%BD%BF%E7%94%A8%E6%8C%87%E5%8D%97.md
此外,ollama 还支持通过openAI格式的接口调用,
如对话接口:
http://8.136.125.228:11434/v1/chat/completions