change log
2024-12-11 10:28(推荐重新观看)
- 针对绘画大模型的使用做进一步的详细操作(flux1dev)
见篇节(绘画大模型)
2024-12-10
- 更新了基础的chat大模型和绘画大模型的基础环境搭建。
安装chat大模型(不推荐,本地运行的大模型只能聊废话,不如网页版使用openAI等高效)
如果只是玩玩的话可以,llama3回复非常迅速,也非常有灵性,但是真实性非常差!!!请不要让他帮你干生产力工作。
首先下载ollama的安装包
https://ollama.com/
点击启动访问:http://localhost:11434
Ollama is running
代表已经运行起来了!
安装大模型和配置模型路径(macOS配置ollama模型路径)
Mac机身内存寸土寸金,外置硬盘盒将大模型安装到里面也可以运行,下面是修改ollama模型路径的方法:
- 官方说设置环境变量
OLLAMA_MODELS
就可以了,但是在macOS上我试了好像没什么作用,包括设置访问权限chmod等都没用。 - 这里说我的解决方案:
创建符号链接的方案!
默认ollama会放到根目录:.ollama文件夹下,打开终端运行:cd ~/.ollama
- 创建符号链接
ln -s /Volumes/pm981a/ollama_models ~/.ollama/models
pm981a是我的外置硬盘盒,将
/Volumes/pm981a/ollama_models
更改为你的路径即可
更改完之后重启ollama!
这时候打开默认的文件夹是这样的:(带个小箭头就是链接成功了)
然后运行命令下载模型文件:
ollama run llama3.2
你的外置硬盘盒里面就有模型了(如果你之前在默认文件夹下载好了,则把manifests,blobs
两个文件夹拷贝到硬盘盒文件夹下就可以了)
下载好之后在终端命令窗口里面问它就可以对话了!
open webUI(可视化大模型对话界面)
macOS安装docker后运行下方命令就可以打开浏览器访问了
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
http://localhost:3000就可以看到页面了,设置密码后注意保存!
安装绘画大模型
(推荐)
如果你想玩,这个是推荐的,可以随意的画画画!
软件环境
首先安装ComfyUI,去GitHub下载一个最新版本,用python跑起来就可以了,界面是工作流这种:
https://github.com/comfyanonymous/ComfyUI
具体安装步骤:
- 从releases下载好,解压进入根目录
- 创建python虚拟目录
python -m venv venv source venv/bin/activate
- 执行安装
pip install -r requirements.txt
项目中一般会有这个依赖文件
- 启动:
python main.py
访问8188就可以了
硬件环境
- Mac mini m4(16+256G)
- 外置硬盘盒:pm981a(2T)
ComfyUI + flux.1绘画大模型(推荐)
- flux是黑森林工作室的绘画大模型,效果非常惊艳,细节性有显著优势,这是官网可以去瞅瞅;
- 其中官方flux有三个版本:pro,dev,schnel(效果递减,占用资源递减)
而pro是商用的,开源的只有后面两个dev和schnel。- 针对官方的flux有衍生出多个开源版本
GGUF
就是其中的一个(dev和schnel),我们使用这个。
flux(GGUF)
安装插件和下载模型flux(GGUF)
- 下载 Flux GGUF dev 模型 或 Flux GGUF schnell 模型 并将模型文件放置在
comfyui/models/unet
目录下 - 下载 t5-v1_1-xxl-encoder-gguf,并将模型文件放置在
comfyui/models/clip
目录下 - 下载 clip_l.safetensors 并将模型文件放置在
comfyui/models/clip
目录下 - 下载 ae.safetensors 并将模型文件放置在
comfyui/models/vae
目录下,建议重命名为flux_ae.safetensors
- 安装 ComfyUI-GGUF 插件,
- 首先下载ComfyUI-manager(这是所有的插件管理者)
- 将解压后的文件夹复制到 comfyui/custom_nodes 的插件目录下
- 重启 ComfyUI ,查看插件是否安装完成
然后点击右上角的图标,再点击Custom nodes Manager ->搜索 GGUF安装即可
这是我下载的版本:GGUF(Q8[12GB]),t5(Q8[5GB])
注意:需要魔法网络!(如果没有可以联系我,1元一份)
GGUF 版本 Flux.1 工作流示例
flux-1-dev-gguf-example.json
文件太大,放文章上方资源区域了,免费的。
效果
这是我生成的狠人大帝手持吞天魔罐砸毁绿铜仙鼎的画面,一次性生成,个人感觉单论画面细节是非常不错的,画面表达方面就看各自语文水平了,🤣
========上方是2024.12.11 pm14:26更新