欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 健康 > 美食 > Ollama 开发指南

Ollama 开发指南

2025/2/21 3:11:34 来源:https://blog.csdn.net/qq273766764/article/details/145671969  浏览:    关键词:Ollama 开发指南

文章来源:开发指南 - Ollama中文文档|Ollama官方文档 

安装先决条件:

  • GO
  • C/C++ 编译器,例如 macOS 上的 Clang、TDM-GCC (Windows amd64) 或 llvm-mingw (Windows arm64)、Linux 上的 GCC/Clang。

然后从仓库的根目录构建并运行 Ollama:

go run . serve

macOS (Apple Silicon)

macOS Apple Silicon 支持内置于 Ollama 二进制文件中的 Metal。无需执行其他步骤。

macOS (英特尔)

安装先决条件:

  • CMake 或brew install cmake

然后,配置并构建项目:

cmake -B build
cmake --build build

最后,运行 Ollama:

go run . serve

Windows

安装先决条件:

  • CMake
  • Visual Studio 2022 包括本机桌面工作负载
  • (可选)AMD GPU 支持
    • ROCm
    • 忍者
  • (可选)NVIDIA GPU 支持
    • CUDA 开发工具包

[!重要] 在运行 CMake 之前,请确保满足先决条件。PATH

[!重要] ROCm 与 Visual Studio CMake 生成器不兼容。在配置项目时使用。-GNinja

[!重要] CUDA 仅与 Visual Studio CMake 生成器兼容。

然后,配置并构建项目:

cmake -B build
cmake --build build --config Release

最后,运行 Ollama:

go run . serve

Windows (ARM)

Windows ARM 目前不支持其他加速库。

Linux

安装先决条件:

  • CMake 或sudo apt install cmakesudo dnf install cmake
  • (可选)AMD GPU 支持
    • ROCm
  • (可选)NVIDIA GPU 支持
    • CUDA 开发工具包

[!重要] 在运行 CMake 之前,请确保满足先决条件。PATH

然后,配置并构建项目:

cmake -B build
cmake --build build

最后,运行 Ollama:

go run . serve

docker

docker build .

ROCm

docker build --build-arg FLAVOR=rocm .

运行测试

要运行测试,请使用 :go test

go test ./...

文库检测

Ollama 在以下路径中查找相对于可执行文件的加速库:ollama

  • ./lib/ollama(Windows)
  • ../lib/ollama(Linux)
  • .(macOS)
  • build/lib/ollama(用于开发)

如果未找到这些库,Ollama 将不会与任何加速库一起运行。

文章来源:开发指南 - Ollama中文文档|Ollama官方文档

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

热搜词