ComfyUI 是目前最强大、最模块化的扩散模型图形界面和后端引擎。它采用节点图(Node Graph)/流程图(Flowchart)接口,让用户无需编写代码即可创建和实验复杂的 AI 生成工作流。ComfyUI 最初作为 Stable Diffusion 的可视化编排工具诞生,如今已发展成为支持图像、视频、3D 模型、音频等多种模态的通用 AI 创作引擎。
ComfyUI 由 comfyanonymous 开发并于 2023 年初开源,托管在 GitHub 的 Comfy-Org/ComfyUI 组织下,拥有超过 70,000 颗星标和庞大的社区生态。它遵循周发布周期(约每 2 周一个主要稳定版本),保持与最新开源模型的高度同步。
ComfyUI 的核心创新在于其节点图接口。每个节点代表 AI pipeline 中的一个独立功能单元——加载模型、编写提示词、采样、解码、后处理等。节点之间通过连接线传递数据,形成一个完整的执行流程图。
基本节点类型:
| 节点类型 | 功能 | 示例 |
|---|---|---|
| Checkpoint Loader | 加载 Stable Diffusion 模型 | 加载 SDXL、SD3.5、Flux 等 |
| CLIP Text Encode | 将文本提示词编码为向量 | 正面/负面提示词 |
| KSampler | 执行采样步骤 | 设置步数、CFG、采样器类型 |
| VAE Decode | 将潜在表示解码为图像 | 将 latents 转为 RGB 图像 |
| VAE Encode | 将图像编码为潜在表示 | 用于 img2img |
| VAE Loader | 加载 VAE 模型 | 选择专用 VAE |
| Preview Image | 显示生成的图像 | 实时预览输出 |
| Save Image | 保存生成的图像到磁盘 | PNG/WebP 格式输出 |
工作流执行机制:
ComfyUI 采用异步队列系统(Asynchronous Queue System)管理工作流执行。当用户提交一个工作流时,系统会自动分析节点间的依赖关系,只重新执行发生变更的部分,大大提升了迭代效率。
# 工作流执行的核心思想
# 1. 解析节点图的 DAG(有向无环图)
# 2. 识别发生变更的节点路径
# 3. 仅重新执行变更路径上的节点
# 4. 缓存未变部分的结果
ComfyUI 的突出优势之一是其智能内存管理机制。它能够自动在模型执行过程中进行智能卸载(smart offloading),使得低至 1GB VRAM 的 GPU 也能够运行大型模型。具体优化包括:
ComfyUI 支持所有主流操作系统和 GPU 类型:
--cpu 参数可在纯 CPU 环境下运行(速度较慢)ComfyUI 是当前支持模型最广泛的 AI 创作工具,覆盖图像、视频、音频和 3D 领域。
| 模型家族 | 版本系列 | 特点 |
|---|---|---|
| Stable Diffusion | SD1.x, SD2.x, SDXL | 经典开源文生图模型 |
| SD3 / SD3.5 | Stability AI 最新系列 | 高理解力、MMDiT 架构 |
| Flux / Flux 2 | Black Forest Labs | 顶级图像质量、超逼真 |
| Stable Cascade | Stability AI | 三阶段级联生成架构 |
| PixArt / PixArt Sigma | 华为 | 高效 Transformer 架构 |
| AuraFlow | Fal.ai | 开源流匹配模型 |
| HunyuanDiT / Hunyuan Image 2.1 | 腾讯 | 中文优化 DiT 模型 |
| Lumina Image 2.0 | Alpha-VLLM | 新一代高质量图像生成 |
| HiDream / HiDream E1.1 | HiDream.AI | 高分辨率图像编辑 |
| Qwen Image | 阿里巴巴 | Qwen 大模型视觉扩展 |
ComfyUI 是目前最流行的 AI 视频生成平台之一,支持的视频模型包括:
| 模型 | 特点 | 开发者 |
|---|---|---|
| Stable Video Diffusion | 图像转视频、视频帧插值 | Stability AI |
| Hunyuan Video / Hunyuan Video 1.5 | 高画质长视频、中文优化 | 腾讯 |
| Wan 2.1 / Wan 2.2 | 高质量文本到视频 | 阿里巴巴 |
| Mochi | 开源视频生成 | Genmo |
| LTX-Video | 快速轻量级视频生成 | Lightricks |
ComfyUI 的节点接口提供了前所未有的灵活性和可见性:
区域组合(Area Composition):
支持在图像的不同区域使用不同的提示词,实现精确的布局控制。用户可以通过区域掩码指定每个区域的内容,适合复杂构图。
修复与扩展(Inpainting & Outpainting):
内置完整的修复支持,兼容常规修复模型和专用修复模型(如 SD1.x Inpaint、SDXL Inpaint 等)。
超分辨率(Upscaling):
支持多种超分模型:
ControlNet 与 T2I-Adapter:
全面的 ControlNet 支持,包括:
LoRA 与微调:
原生支持 LoRA(Low-Rank Adaptation):
内置模型合并功能,支持:
支持的采样器类型覆盖主流算法:
加载和使用自定义 embeddings 进行风格化控制。
ComfyUI 提供完整的 API 端点,可无缝集成到生产管线中:
import requests
import json
# 通过 API 提交工作流
workflow = {
"prompt": ...,
"client_id": "my_app"
}
response = requests.post(
"http://localhost:8188/prompt",
json=workflow
)
ComfyUI 最强大的优势之一是其高度活跃的自定义节点生态系统。截至 2025 年,社区已开发数千个自定义节点,极大扩展了 ComfyUI 的功能边界。
| 节点包 | 功能描述 |
|---|---|
| ComfyUI-Manager | 节点管理器:一键安装/删除/更新/禁用自定义节点,提供节点搜索、依赖解析、版本检测 |
| ComfyUI Impact Pack | 图像编辑与处理工具集,提供更丰富的后处理节点 |
| ComfyUI Workflow Component Pack | 工作流组件集,简化复杂工作流构建 |
| rgthree's ComfyUI Nodes | 常用实用节点,如路由、选择器、条件控制 |
| Efficiency Nodes | 高效节点集,减少工作流中的冗余连接 |
| WAS Node Suite | 全面的工具节点套件,涵盖图像处理、文本处理等 |
ComfyUI-Manager 是安装 ComfyUI 后最优先推荐安装的自定义节点。核心功能:
在 ComfyUI Desktop 版本中,ComfyUI-Manager 已默认集成安装。
ComfyUI 提供了清晰的自定义节点开发文档,开发者可以通过 Python 创建自己的节点:
# 自定义节点示例
class MyCustomNode:
@classmethod
def INPUT_TYPES(s):
return {
"required": {
"input_images": ("IMAGE",),
"intensity": ("FLOAT", {
"default": 1.0,
"min": 0.0,
"max": 10.0,
"step": 0.1
}),
}
}
RETURN_TYPES = ("IMAGE",)
FUNCTION = "process"
CATEGORY = "custom/image"
def process(self, input_images, intensity):
# 自定义处理逻辑
return (processed_images,)
ComfyUI Desktop 提供 Windows 和 macOS 的图形化安装程序,一键安装,内置 ComfyUI-Manager。
.exe 安装包.dmg 安装包适用于 Linux 和需要手动控制的用户:
# Linux 安装
git clone https://github.com/Comfy-Org/ComfyUI.git
cd ComfyUI
pip install -r requirements.txt
python main.py
# 指定额外模型路径
# 编辑 extra_model_paths.yaml 配置搜索路径
对于没有本地 GPU 的用户,ComfyUI 提供官方付费云版本,以及多种第三方云服务:
最简单的 ComfyUI 工作流:
适合保持人物姿态一致性的工作流:
在多帧生成或系列图像中保持统一风格:
低分辨率快速生成 → 高分辨率精细修复的两阶段工作流:
使用 Wan 2.1 模型生成视频:
| 特性 | ComfyUI | AUTOMATIC1111 WebUI | Fooocus |
|---|---|---|---|
| 界面类型 | 节点图 | 传统 UI 标签页 | 极简式 |
| 学习曲线 | 中等偏高 | 低 | 极低 |
| 灵活性 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐ |
| 性能优化 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐⭐ |
| 可重复性 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐ |
| 工作流分享 | JSON/嵌入PNG | 图片信息 | 一键配置 |
| 自定义节点 | 数千个 | 数百个 | 有限 |
| 低显存支持 | 1GB+ | 4GB+ 推荐 8GB+ | 4GB+ |
| 大模型支持 | 最广泛 | 广泛 | 有限 |
选择建议:
# 常见启动参数
python main.py --highvram # 保持模型常驻显存(速度优先)
python main.py --normalvram # 自动管理显存(默认)
python main.py --lowvram # 低显存模式(每次卸载模型)
python main.py --novram # 完全不用显存(CPU 模式)
python main.py --cpu # 纯 CPU 运行
python main.py --force-fp16 # 强制 fp16 精度
python main.py --preview-method auto # 使用更快的潜空间预览
--lowvram 在低显存环境下运行--lowvram 模式,降低分辨率,使用 fp16ComfyUI 已成为 AI 视觉创作领域的事实标准工具之一。其节点图架构提供了无与伦比的灵活性和控制力,而庞大的开源社区则确保了与最新模型和技术的同步。
未来趋势:
对于追求质量、控制力和可复现性的 AI 创作者而言,ComfyUI 是当前最强大、最值得投入时间学习的工具。