deepseek内网离线部署手册

https://github.com/ollama/ollama/releases/download/v0.5.8/ollama-linux-amd64.tgz

sudo tar -C /usr -xzf ollama-linux-amd64.tgz

[sudo] password for XXX:

ls -lrt /usr/bin/ollama

ollama -v

ollama serve

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama

sudo usermod -a -G ollama $(whoami)

注释：命令解释

1. sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama

useradd

这是用于在 Linux 系统中创建新用户的命令。

-r

该参数表示创建一个系统用户。系统用户通常用于运行系统服务或守护进程，它们一般不用于交互式登录，其 UID（用户标识符）通常小于 1000（在某些系统中可能规则略有不同）。

-s /bin/false

-s 参数用于指定用户的默认登录 shell。/bin/false 是一个特殊的 shell，它在被调用时会立即退出，返回一个失败状态码。将用户的 shell 设置为 /bin/false 意味着该用户无法通过正常方式登录系统，只能用于运行特定服务。

-U

该参数会自动创建一个与用户名相同的用户组，并将该用户添加到这个组中。例如，这里会创建一个名为 ollama 的用户组，并且用户 ollama 会成为该组的成员。

-m

此参数表示在创建用户时，自动为该用户创建主目录。主目录是用户在系统中的个人工作空间，通常包含用户的配置文件、文档等。

-d /usr/share/ollama

-d 参数用于指定用户的主目录路径。这里将用户 ollama 的主目录设置为 /usr/share/ollama，而不是默认的 /home/ollama。

ollama

这是要创建的新用户的用户名。

2. sudo usermod -a -G ollama $(whoami)

usermod

这是一个用于修改用户账户信息的命令。可以对已存在用户的各种属性进行修改，比如用户名、用户 ID、主目录、所属用户组等。

-a

-a 是 --append 的缩写，它的作用是将用户追加到指定的用户组中，而不是替换用户原本所属的用户组。也就是说，执行该命令后，用户会保留原有的用户组成员身份，同时新增为指定用户组的成员。

-G

-G 即 --groups，用于指定要将用户添加到的目标用户组。这里指定的目标用户组是 ollama。

$(whoami)

这是一个命令替换的语法。whoami 命令的作用是显示当前登录用户的用户名。通过 $( ) 将 whoami 命令括起来，会先执行 whoami 命令并获取其输出结果（即当前用户的用户名），然后将这个结果作为 usermod 命令要操作的用户名

sudo vim /etc/systemd/system/ollama.service

[Unit]

Description=Ollama Service

After=network-online.target

[Service]

ExecStart=/usr/bin/ollama serve

User=ollama

Group=ollama

Restart=always

RestartSec=3

Environment="PATH=$PATH"

Environment="OLLAMA_HOST=0.0.0.0:11434"

Environment="OLLAMA_ORIGINS=*"

[Install]

WantedBy=default.target

1，重新加载 `systemd` 管理器配置

sudo systemctl daemon-reload

2，启动服务

sudo systemctl start ollama.service

3，查看服务状态

sudo systemctl status ollama.service

4，设置服务开机自启

sudo systemctl enable ollama.service

5，重启服务

sudo systemctl restart ollama.service

6，停止服务

sudo systemctl stop ollama.service

可以访问https://www.modelscope.cn/models网址进行模型下载

比如：DeepSeek-R1-Distill-Qwen-7B-GGUF：选择合适机器的模型。

https://www.modelscope.cn/models/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF

1.模型文件同级目录下创建一个文件，这里命名叫做 Modelfile，文件内写入

FROM ./DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

2.保存文件，执行命令

ollama create <模型名称-可自定义> -f ./Modelfile

ollama create DeepSeek-R1-Distill-Qwen-7B-Q4_K_M -f ./Modelfile

ollama list

ollama run <上一步定义的模型名称>

ollama run DeepSeek-R1-Distill-Qwen-7B-Q4_K_M

1.找一台可以科学联网的linux服务器，且该服务部署了docker

参考网址：https://github.com/jakobhoeg/nextjs-ollama-llm-ui

2.使用docker的方式拉取镜像

docker pull jakobhoeg/nextjs-ollama-ui

3.镜像拉取成功，打包镜像

docker save -o jakobhoeg_nextjs-ollama-ui.tar jakobhoeg/nextjs-ollama-ui:latest

1.内网环境，找一台安装了docker的服务器

2.加载镜像包

docker load -i jakobhoeg_nextjs-ollama-ui.tar

3.查看镜像

docker images

1.ollama和ollama-ui没有部署在同一台服务器 （example.com需要更改为部署了ollama的服务器ip）

docker run -d -p 3000:3000 --add-host=host.docker.internal:host-gateway -e OLLAMA_URL=http://example.com:11434 --name nextjs-ollama-ui --restart always jakobhoeg/nextjs-ollama-ui:latest

2.ollama和ollama-ui部署在同一台服务器

docker run -d -p 3000:3000 --add-host=host.docker.internal:host-gateway -e OLLAMA_URL=http://host.docker.internal:11434 --name nextjs-ollama-ui --restart always jakobhoeg/nextjs-ollama-ui:latest

--修改ollama-ui默认监听端口

先查看端口是否被占用

netstat -tuln | grep 8000

没占用的话，即可修改UI监听端口

这里 8000 是宿主机的端口，3000 是容器内部服务监听的端口。

docker run -d -p 8000:3000 --add-host=host.docker.internal:host-gateway -e OLLAMA_URL=http://host.docker.internal:11434 --name nextjs-ollama-ui --restart always jakobhoeg/nextjs-ollama-ui:latest