ollama部署及实践记录,虚拟环境，pycharm等

我的环境：ubutu 24.05

0.相关命令

kt@kt4028:~/myproject/ollama-linux$ ollama --help
Large language model runnerUsage:ollama [flags]ollama [command]Available Commands:serve       Start ollamacreate      Create a model from a Modelfileshow        Show information for a modelrun         Run a modelstop        Stop a running modelpull        Pull a model from a registrypush        Push a model to a registrylist        List modelsps          List running modelscp          Copy a modelrm          Remove a modelhelp        Help about any commandFlags:-h, --help      help for ollama-v, --version   Show version informationUse "ollama [command] --help" for more information about a command.

1.

curl -fsSL https://ollama.com/install.sh | sh

2.创建虚拟环境

conda create -n ollama_env python=3.10

3.下载测试模型

Qwen2.5-7B-Instruct-GPTQ-Int4

4.验证

ollama --version

5.启动

ollama serve

 6.验证

7.pycharm 新建项目

8.安装依赖

pip install ollama

8.1拉取

ollama run qwen2.5:7b

 

(ollama_env) kt@kt4028:~/myproject/ollama$ ollama run qwen2.5:7b
pulling manifest 
pulling 2bada8a74506... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 4.7 GB                         
pulling 66b9ea09bd5b... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   68 B                         
pulling eb4402837c78... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 1.5 KB                         
pulling 832dd9e00a68... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  11 KB                         
pulling 2f15b3218f05... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  487 B                         
verifying sha256 digest 
writing manifest 
success 
>>> 你是谁？
我是Qwen，一个由阿里云开发的大型语言模型，旨在帮助用户生成各种类型的文本，如文章、故事、诗歌等，并能回答问题和进行对话。我可以讲多种语言，致力于提供有用和准确的信息。如果您有任何问题或需要帮助，请随时告诉我！

9.新建测试代码

import ollama# 初始化 Ollama 客户端
client = ollama.Client(host='http://127.0.0.1:11434')# 提示词
prompt = """
生成一个适合儿童的成语故事，故事应该包含以下部分：
1. 故事开头：小动物遇到困难。
2. 故事中间：动物朋友们帮助解决问题。
3. 故事结尾：小动物学会了团结的重要性。同时为每个部分生成背景音乐和图片的提示词。
"""# 调用 Qwen-7B-Chat-Int4 模型生成故事
response = client.generate(model='qwen2.5:7b', prompt=prompt)# 解析生成结果
story = response['response']
print("生成的故事：")
print(story)# 提取背景音乐提示
music_prompts = ["森林背景音乐，轻快的旋律，带有鸟鸣声","温暖的音乐，带有友情的元素","欢快的音乐，带有庆祝的氛围"
]# 提取图片提示
image_prompts = ["小动物在森林中遇到困难，表情无助","动物朋友们围在一起互相帮助，表情温暖","小动物和朋友们一起庆祝胜利，背景是阳光明媚的森林"
]print("\n背景音乐提示词：")
for prompt in music_prompts:print(prompt)print("\n图片提示词：")
for prompt in image_prompts:print(prompt)

(ollama_env) kt@kt4028:~/myproject/ollama$ python ceshi.py
生成的故事：
### 成语故事《团结就是力量》#### 背景音乐提示词：
- 动物鸣叫环绕乐曲（模拟森林的环境音）
- 温馨的家庭温暖旋律
- 传统的中国古风弦乐#### 图片提示词：
1. 小动物们在一片广阔的草地上活动，背景有绿油油的草地和五彩斑斓的小花。
2. 小动物们的脸上表情丰富，有的焦急、有的困惑，表现出面对困难时的不同反应。
3. 一群团结一致的小动物们围坐在一起讨论问题的情景。
4. 成功解决问题后，小动物们开心地庆祝场景。### 故事正文#### 背景音乐提示词：
- 悦耳的自然之声
- 温馨的家庭温暖旋律

目前就这些