ComfyUI-sd3.5模型部署指南

一、介绍

前段时间Black Forest Labs发布Flux.1模型后，stability.ai在开源社区的地位受到了极大的冲击。特别是在SD3带来体验效果不能满足人们的期待和使用需求时，更是许多人转而回到SDXL版本。但是，在沉寂了两个多月后，stability.ai终于在10月22号又推出了 Stable Diffusion的升级版本，SD模型3.5。此开放版本包括多个模型变体，包括 Stable Diffusion 3.5 Large 和 Stable Diffusion 3.5 Large Turbo。此外，Stable Diffusion 3.5的系列模型Medium 也于 10 月 29 日发布。

Stable Diffusion 3.5 Large：该基本模型具有 80 亿个参数，具有卓越的质量和提示词依从性，是目前Stable Diffusion 系列中最强大的，是专业使用 100 万像素分辨率出图的理想选择。
Stable Diffusion 3.5 Large Turbo:Stable Diffusion 3.5 Large 的精简版本只需 4 个步骤即可快速生成具有出色的高质量图像，比 Stable Diffusion 3.5 Large 快得多。

据官方介绍，此模型出色点表现在：
可自定义性： 轻松微调模型以满足您的特定创意需求，或基于自定义工作流构建应用程序。

高效的性能：经过优化，可在标准消费级GPU上运行，尤其是 Stable Diffusion 3.5 Large和 Stable Diffusion 3.5 Large Turbo 模型。

多样化的输出： 可生成各种自然世界图片，而不仅仅是一种类型的人，具有不同的肤色和特征，无需大量提示。

多功能风格： 能够生成各种风格和美学图片，如 3D，摄影，绘画，线条艺术和几乎任何你可以想象的视觉风格。

从官方公布的测评图上看，SD3.5在提示词的依从性上高于目前市面上主流的其它开源模型，并且在审美评分上仅低于FLUX.1的dev版。

其它更多信息可点击官网详细了解：Stable Diffusion 3.5 — Stability AI

接下来就谈谈如何在ComfyUI上进行部署：

二、部署

要求：

显存>=24G
CUDA版本>=11.8

1. 部署ComfyUI

（1）使用命令克隆 ComfyUI

git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI

（2）安装 conda（如已安装则跳过）

下面需要使用 Anaconda 或 Mimiconda 创建虚拟环境，可以输入 conda --version 进行检查。下面是 Mimiconda 的安装过程：

下载 Miniconda 安装脚本

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

运行安装脚本

bash Miniconda3-latest-Linux-x86_64.sh

遵循安装提示并初始化

按 Enter 键查看许可证条款，阅读完毕后输入 yes 接受条款，安装完成后，脚本会询问是否初始化 conda 环境，输入 yes 并按 Enter 键。

运行 source ~/.bashrc 命令激活 conda 环境
再次输入 conda --version 命令来验证是否安装成功，如果出现类似 conda 4.10.3 这样的输出就成功了。

（3）创建虚拟环境

输入下面的命令：

conda create -n comfyui
conda activate comfyui

（4）安装 pytorch

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121

（5）安装项目依赖

pip install -r requirements.txt

此时所需环境就已经搭建完成，通过下面命令进行启动：

python main.py

访问网址得到类似下图界面即表示成功启动：

到这里Comfy UI就初步搭建好了（这里只是简单实现ComfyUI的基础功能，如果想要安装更多细节，请看我“Comfy UI”部署教程）

2. 部署SD3.5-large

如果你的ComfyUI是在SD3.5模型发布前部署的，那么建议先进行更新。

（1）下载Clip模型

第一步是要下载clip(文本编码器)文件（如果你没有从 SD3、Flux 或其他模型中下载过）：clip_l.safetensors、clip_g.safetensors 和 t5xxl。

进入hugging face网站，点击搜索：stable-diffusion-3.5-large

第一次登录需要注册，然后搜索后需要填写信息获取模型访问的权限。通过后点击“Flies”：

出现的就是我们所需的模型文件，将下图中的模型①②下载到ComfyUI/models/clip/ 文件夹中，但是对于②中的 t5xxl，如果您的 RAM 超过 32GB，我建议选择 t5xxl_fp16.safetensors，没有的话，还是建议使用t5xxl_fp8_e4m3fn_scaled.safetensors。

（2）下载SD3.5-large模型

下载sd3.5_large.safetensors 文件，放在你的 ComfyUI/models/checkpoints/ 目录中：

或者使用下面的命令进行下载：

pip install modelscope
modelscope download --model AI-ModelScope/stable-diffusion-3.5-large sd3.5_large.safetensors --local_dir ./models/checkpoints

其中 ./models/checkpoints为模型的下载地址，如果有需要，可以 models/checkpoints替换为你自己的

（3）下载工作流

点击链接：ComfyUI Now Supports Stable Diffusion 3.5，然后将下图拖入Comfy UI即可出现工作流:

工作流如下：

至此SD3.5-large模型就部署在Comfy UI中了。

低 RAM 解决方案

如果生成时报错，有可能是 RAM 不足。
使用 fp8_scaled 工作流 json（实验性）和 fp8 缩放模型作为低 vram 选项
你可以尝试 t5xxl_fp8_e4m3fn_scaled.safetensors或t5xxl_fp8_e4m3fn.safetensors而不是 t5xxl_fp16 以降低内存使用量（缩放的是检查点）。如果你有超过 32GB 的 RAM，那非常建议使用 t5xxl_fp16。