Ollama 使用指南：Linux、Windows 和 macOS

Ollama 是一个开源平台，用于部署和运行大型语言模型。它提供了一种在本地环境中运行语言模型的能力，使得用户可以在本地安全地与这些模型进行交互，而无需将数据发送到云端。

安装 Ollama

确保您已经安装了 Ollama。如果还没有安装，可以通过以下命令安装：

# Linux, macOS
curl -s https://install.ollama.ai | sh# Windows (PowerShell)
Invoke-WebRequest -Uri https://install.ollama.ai -OutFile ollama-install.ps1
.\ollama-install.ps1

启动服务

使用 ollama serve 命令启动服务。

Linux/macOS:

ollama serve

Windows (PowerShell):

ollama serve

配置 Ollama 以允许外部访问

默认情况下，Ollama 绑定的是 127.0.0.1:11434，这意味着它仅监听本地回环地址。要让 Ollama 在局域网内被其他设备访问，您需要配置 OLLAMA_HOST 环境变量以监听所有网络接口。

Linux/macOS:

export OLLAMA_HOST=0.0.0.0:11434
ollama serve

Windows (PowerShell):

$env:OLLAMA_HOST = "0.0.0.0:11434"
ollama serve

使用 Systemd 管理服务 (仅限 Linux)

如果您使用的是 Linux 系统，并且希望使用 Systemd 来管理 Ollama 服务，可以按照以下步骤操作：

1. 创建服务文件
   创建一个新的 Systemd 服务文件，例如 /etc/systemd/system/ollama.service，并添加以下内容：

   [Unit]
   Description=Ollama AI Service
   After=network.target[Service]
   Type=simple
   User=<your-username>
   WorkingDirectory=/path/to/ollama
   ExecStart=/usr/bin/ollama serve
   Restart=on-failure
   Environment="OLLAMA_HOST=0.0.0.0:11434"[Install]
   WantedBy=multi-user.target
   

2. 启用服务
   通过以下命令启用并启动服务：

   sudo systemctl enable ollama.service
   sudo systemctl start ollama.service
   

3. 停止服务
   如果需要停止服务，可以使用以下命令：

   sudo systemctl stop ollama.service
   

使用 ollama run 启动模型

使用 ollama run 命令启动单个模型实例。例如，要启动名为 gemma 的模型，可以使用以下命令：

ollama run gemma

如果您还没有下载该模型，Ollama 会自动为您下载它。您可以通过 ollama list 命令查看所有可用的模型列表。

查看正在运行的模型

使用 ollama ps 命令查看正在运行的模型：

ollama ps

验证服务状态

由于 ollama status 命令不存在，您可以使用以下方法之一来检查服务的状态：

1. 使用 ps 命令

   • Linux/macOS:

     ps aux | grep ollama
     

   • Windows (PowerShell):

     Get-Process ollama
     

2. 使用 Docker 命令

   • 查看运行中的 Docker 容器：

     docker ps
     

3. 使用 systemctl 命令 (仅限 Linux)

   • 如果您使用 Systemd 来管理服务，可以使用以下命令来查看服务的状态：

     sudo systemctl status ollama.service
     

结论

通过以上步骤，您可以在 Linux、Windows 和 macOS 系统上成功地配置 Ollama 服务，使其能够在您的局域网内被其他设备访问。这不仅增加了 Ollama 的可用性，还为您提供了更多的灵活性来利用其强大的语言处理功能。