如何在centos服务器或者ubuntu服务器上部署大模型,deepseek R1模型。
一、服务器安装部署DeepSeek R1
1、安装ollama并配置deepseek模型
1)ollama安装命令:
curl -fsSL https://ollama.com/install.sh | sh
安装完成后,验证是否安装成功
ollama -v
如果显示Ollama的版本信息,则表示安装成功。
2)下载并部署DeepSeek模型
使用Ollama下载DeepSeek模型。例如,下载DeepSeek-R1模型:
ollama run deepseek-r1:[选择合适的版本,如7b或1.5b等]
下载1.5b的命令示例:ollama run deepseek-r1:1.5b
下载完成后,可以通过命令行与DeepSeek模型进行交互。也可以通过postman等工具进行交互。如果需要部署一个Web界面来与模型进行对话,可以考虑使用Open WebUI等工具。
打开浏览器,输入服务器的公网IP地址和所映射的端口号(如http://[公网IP]:[宿主机端口]),即可访问DeepSeek的Web界面。
在Web界面中,可以输入问题或指令与DeepSeek模型进行对话。