ComfyUI 是目前最强大、最模块化的扩散模型图形界面和后端引擎。它采用节点图(Node Graph)/流程图(Flowchart)接口,让用户无需编写代码即可创建和实验复杂的 AI 生成工作流。ComfyUI 最初作为 Stable Diffusion 的可视化编排工具诞生,如今已发展成为支持图像、视频、3D 模型、音频等多种模态的通用 AI 创作引擎。
ComfyUI 由 comfyanonymous 开发并于 2023 年初开源,托管在 GitHub 的 Comfy-Org/ComfyUI 组织下,拥有超过 70,000 颗星标和庞大的社区生态。它遵循周发布周期(约每 2 周一个主要稳定版本),保持与最新开源模型的高度同步。
相较于 AUTOMATIC1111 WebUI 的传统标签页界面和 Fooocus 的极简设计,ComfyUI 的节点图架构代表了 AI 创作工具的范式转变——从"黑盒参数面板"到"可视化编程环境"。这一设计带来的核心优势包括:
ComfyUI 的演进速度极快,以下时间线展示了关键里程碑:
| 时间 | 版本/事件 | 意义 |
|---|---|---|
| 2023 年 1 月 | v0.0.1 初始发布 | Stable Diffusion 节点图工具开源 |
| 2023 年 4 月 | 发布 v0.1.0 | 支持 ControlNet 和工作流导出 |
| 2023 年 7 月 | SDXL 支持 | 第一时间兼容 SDXL 模型 |
| 2023 年 9 月 | ComfyUI-Manager 发布 | 自定义节点生态爆发式增长 |
| 2024 年 1 月 | v0.2.0 发布 | 重构执行引擎,支持异步队列 |
| 2024 年 3 月 | ComfyUI Org 成立 | 由个人项目转为组织管理 |
| 2024 年 6 月 | SVD 视频支持 | 扩展至视频生成领域 |
| 2024 年 8 月 | ComfyUI Desktop alpha | 提供一键安装的桌面应用 |
| 2024 年 12 月 | Flux 模型支持 | 支持 Black Forest Labs 顶级模型 |
| 2025 年 3 月 | 多模态支持完善 | 视频、3D、音频模型的全面集成 |
| 2025 年 6 月 | Wan 2.2 深度集成 | 阿里巴巴视频模型的领先支持 |
ComfyUI 的核心创新在于其节点图接口。每个节点代表 AI pipeline 中的一个独立功能单元——加载模型、编写提示词、采样、解码、后处理等。节点之间通过连接线传递数据,形成一个完整的执行流程图。
基本节点类型详解:
| 节点类型 | 输入 | 输出 | 功能说明 |
|---|---|---|---|
| Checkpoint Loader | 模型名称(选择) | MODEL、CLIP、VAE | 加载扩散模型的主入口,输出三个管线 |
| CLIP Text Encode | CLIP 模型 + 文本 | CONDITIONING | 将文本提示词编码为条件嵌入向量 |
| KSampler | MODEL + CONDITIONING + LATENT | LATENT | 执行从噪声到图像的采样迭代 |
| VAE Decode | VAE + LATENT | IMAGE | 将潜在空间表示解码为像素图像 |
| VAE Encode | VAE + IMAGE | LATENT | 将像素图像编码为潜在空间表示 |
| Empty Latent Image | 宽、高、批次数 | LATENT | 初始化空白潜空间张量 |
| Preview Image | IMAGE | — | 实时显示生成的图像结果 |
| Save Image | IMAGE + 文件名 | — | 将图像保存到输出目录 |
ComfyUI 采用异步队列系统(Asynchronous Queue System)管理工作流执行。当用户提交一个工作流时,系统会自动分析节点间的依赖关系,构建一个有向无环图(DAG),然后自底向上逐层执行。
增量执行的核心原理:
修改参数后重新执行时,ComfyUI 会对每个节点计算哈希签名(基于输入数据和节点配置),与上一次执行的缓存对比。仅当签名发生变化时才重新执行该节点及其下游节点,未变节点直接复用缓存。在复杂工作流中,这一机制可以将单次迭代时间从 60-120 秒缩短至 5-15 秒。
# 工作流缓存机制概念示意
class NodeCache:
def __init__(self):
self.cache = {}
def get_sig(self, node_inputs, node_params):
"""基于输入数据和参数计算签名"""
return hash((json.dumps(node_inputs, sort_keys=True),
json.dumps(node_params, sort_keys=True)))
def should_execute(self, node_id, inputs, params):
sig = self.get_sig(inputs, params)
if self.cache.get(node_id) == sig:
return False # 跳过执行
self.cache[node_id] = sig
return True # 需要重新执行
ComfyUI 的突出优势之一是其智能内存管理机制。它能够自动在模型执行过程中进行智能卸载(smart offloading),使得低至 1GB VRAM 的 GPU 也能够运行大型模型。
具体优化技术包括:
--cpu 模式)显存占用对比(以 SDXL + ControlNet 为例):
| 运行模式 | VRAM 占用 | 单步推理时间(秒) | 推荐 GPU |
|---|---|---|---|
--highvram |
~11-13 GB | 0.3-0.5 | RTX 3090/4090 |
--normalvram |
~6-8 GB | 0.5-0.8 | RTX 3060/3070 |
--lowvram |
~3-4 GB | 1.5-2.5 | RTX 2060/3050 |
--novram (CPU fallback) |
~1-2 GB | 8-15 | 集成显卡 |
CPU mode (--cpu) |
~0.5 GB | 20-60 | 无 GPU |
ComfyUI 支持所有主流操作系统和 GPU 平台:
--cpu 参数可在纯 CPU 环境下运行(速度较慢,适合工作流开发调试)ComfyUI 是当前支持模型种类最广泛的 AI 创作工具,覆盖图像、视频、音频和 3D 领域。以下按模态分类详列。
| 模型家族 | 版本系列 | 架构 | 特点 | 最低显存 |
|---|---|---|---|---|
| Stable Diffusion | SD1.x, SD2.x | U-Net (Latent DM) | 经典开源,生态最成熟 | 4GB |
| SDXL | SDXL 1.0, SDXL Turbo | 双U-Net + Refiner | 更高分辨率(1024),理解力更强 | 6GB |
| SD3 / SD3.5 | SD3-M, SD3-L, SD3.5-L | MMDiT (Transformer) | Stability AI 最新系列,文字理解出色 | 8GB |
| Flux | Flux Dev, Flux Pro, Flux Schnell | MMDiT + T5-XXL | 顶级图像质量,超逼真照片级输出 | 12GB |
| Flux 2 | Flux 2 Pro | 改进 MMDiT | 速度和质量的进一步提升 | 12GB |
| Stable Cascade | Stage A, B, C | 三阶段级联 VAE + U-Net | 压缩率高,效率优秀 | 6GB |
| PixArt / PixArt Sigma | Sigma 1.0, 2.0 | Transformer (DiT) | 华为出品,高效 Transformer 架构 | 4GB |
| HunyuanDiT | v1.1, v1.2 | DiT + 双语 CLIP | 腾讯出品,中文优化,文艺风格出色 | 8GB |
| Hunyuan Image 2.1 | v2.1 | 改进 DiT | 升级版,风格化能力强 | 8GB |
| Lumina Image 2.0 | v2.0 | Next-DiT | Alpha-VLLM,高质量生成 | 6GB |
| HiDream / HiDream E1.1 | E1.1 | 扩散编辑 | 高分辨率图像编辑与生成 | 8GB |
| Qwen Image | 2.5 Vision | Qwen2.5-VL | 阿里巴巴,大模型视觉扩展 | 8GB |
| AuraFlow | v0.3 | Flow Matching | Fal.ai 开源流匹配模型 | 6GB |
ComfyUI 是目前最流行的 AI 视频生成平台之一:
| 模型 | 类型 | 最大分辨率 | 最长时长 | 开发者 |
|---|---|---|---|---|
| Stable Video Diffusion | 图像→视频 / 帧插值 | 1024×576 | 14帧 (2-4秒) | Stability AI |
| Hunyuan Video 1.5 | 文本→视频 / 图像→视频 | 1280×720 | 129帧 (5-15秒) | 腾讯 |
| Wan 2.1 / Wan 2.2 | 文本→视频 / 图像→视频 | 1280×720 | 81帧 (3-8秒) | 阿里巴巴 |
| Mochi 1 | 文本→视频 | 848×480 | 120帧 (5秒) | Genmo |
| LTX-Video | 文本→视频 | 512×768 | 97帧 (3-5秒) | Lightricks |
| CogVideoX 2B/5B | 文本→视频 | 720×480 | 49帧 (2-4秒) | 智谱 AI |
视频模型性能对比(以 512×512 分辨率、5 秒时长为例):
| 模型 | 生成时间(A100) | 显存占用 | 质量评分 | 运动一致性 |
|---|---|---|---|---|
| Wan 2.1 | ~45秒 | 12GB | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ |
| Hunyuan Video 1.5 | ~60秒 | 16GB | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ |
| SVD | ~30秒 | 8GB | ⭐⭐⭐⭐ | ⭐⭐⭐ |
| Mochi 1 | ~90秒 | 20GB | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ |
| LTX-Video | ~15秒 | 6GB | ⭐⭐⭐ | ⭐⭐⭐ |
ComfyUI 的节点接口提供了传统 UI 工具无法企及的灵活性和可见性:
区域组合(Area Composition):
支持在图像的不同区域使用不同的提示词,实现精确的布局控制。用户可以通过区域掩码指定每个区域的内容,适合复杂构图。例如在一张图中同时包含"左侧的城堡"和"右侧的森林"两个不同主题区域。
# 区域组合的概念示意
region_config = {
"left_third": {
"prompt": "a medieval castle on a hill, detailed architecture",
"mask": [0, 0, 341, 1024], # [x1, y1, x2, y2]
"denoise_strength": 0.85
},
"right_third": {
"prompt": "dense enchanted forest with glowing mushrooms",
"mask": [341, 0, 682, 1024],
"denoise_strength": 0.80
},
"background": {
"prompt": "sunset sky with dramatic clouds",
"mask": [0, 0, 1024, 1024], # 全图
"denoise_strength": 0.60
}
}
修复与扩展(Inpainting & Outpainting):
内置完整的修复支持,兼容常规修复模型和专用修复模型。
| 技术 | 适用场景 | 推荐模型 | 操作说明 |
|---|---|---|---|
| 局部修复 | 擦除对象、修复瑕疵 | SD1.x Inpainting / SDXL Inpainting | 加载遮罩图片指定待修复区域 |
| 内容扩展 | 扩展画布、补全场景 | 通用模型 + 扩展遮罩 | 在三个方向扩展原始画布 |
| 对象替换 | 将某对象换成另一对象 | 通用模型 + 精确遮罩 | 在遮罩区域使用不同提示词 |
| 纹理修复 | 去除水印、文字 | SD1.x Inpainting | 使用模糊遮罩覆盖文字区域 |
超分辨率(Upscaling):
支持多种主流超分模型,可根据场景需求选择:
| 模型 | 放大倍数 | 风格 | 速度 | 适用场景 |
|---|---|---|---|---|
| Real-ESRGAN | 2x-4x | 写实增强 | 快 | 人物面部、风景照 |
| SwinIR | 2x-4x | 通用 | 中等 | 通用场景最优 |
| Swin2SR | 2x-8x | 高保真 | 中等 | 高质量输出 |
| 4x-UltraSharp | 4x | 锐化增强 | 快 | 游戏/动漫风格 |
| ESRGAN (custom) | 2x-4x | 可变 | 中等 | 特定风格定制 |
ControlNet 与 T2I-Adapter 支持对比:
| 控制方式 | 控制精度 | 占用显存 | 控制类型 | 适用场景 |
|---|---|---|---|---|
| Canny ControlNet | ⭐⭐⭐⭐⭐ | ~800MB | 边缘约束 | 保持线稿结构 |
| Depth ControlNet | ⭐⭐⭐⭐ | ~800MB | 深度约束 | 保持空间结构和姿态 |
| OpenPose | ⭐⭐⭐⭐⭐ | ~900MB | 姿态约束 | 人物动作精准控制 |
| SoftEdge | ⭐⭐⭐⭐ | ~800MB | 软边缘 | 细节约束较弱的 Canny 替代 |
| Scribble | ⭐⭐⭐ | ~800MB | 涂鸦约束 | 粗线条草图引导 |
| IP-Adapter | ⭐⭐⭐⭐ | ~500MB | 风格/内容参考 | 保持风格一致性 |
| T2I-Adapters | ⭐⭐⭐ | ~300MB | 轻量控制 | 显存有限时选择 |
| ControlNet-XS | ⭐⭐⭐⭐ | ~500MB | 高效控制 | 速度优于标准 ControlNet |
多 ControlNet 组合策略:
LoRA 与微调支持:
ComfyUI 原生支持多种 LoRA 变体,是生态中最全面的:
| LoRA 类型 | 文件扩展名 | 参数量 | 兼容性 |
|---|---|---|---|
| 标准 LoRA | .safetensors |
~150MB | 所有模型通用 |
| LoCON (CP decomposition) | .safetensors |
~200MB | 与 LoRA 兼容 |
| LoHA (Hadamard product) | .safetensors |
~180MB | 更高表达力 |
| DoRA (Weight decomposition) | .safetensors |
~160MB | 改进权重分配 |
| OFT (Orthogonal Finetuning) | .safetensors |
~220MB | 风格迁移特化 |
多 LoRA 融合策略建议:
| 融合策略 | 描述 | 适用场景 | 典型权重 |
|---|---|---|---|
| 主LoRA + 辅助 | 一个主要LoRA + 一个辅助微调 | 人物+服装 | 0.8 + 0.4 |
| 风格叠加 | 多个风格LoRA混合 | 综合风格 | 0.5 + 0.4 + 0.3 |
| 权重衰减 | 从低到高逐步增加 | 精细调优 | 0.2 → 0.6 |
| 分层控制 | 不同层不同权重 | 专业调优 | Block-wise |
内置模型合并功能,支持多种合并算法:
| 合并方法 | 原理 | 效果特点 | 适用场景 |
|---|---|---|---|
| 加权求和 | 平滑过渡,通用性强 | 风格融合 | |
| 插值合并 | 与原模型偏差可控 | 微调增强 | |
| Block-wise | 不同层使用不同权重 | 精细控制各层贡献 | 专业调优 |
| DARE (Drop And REscale) | 随机丢弃部分差异后缩放的Gradient | 保持多样性 | 多模型融合 |
| 布线合并 | 选择性保留最优权重 | 质量最优 | 极致质量追求 |
数值示例——加权求和合并:
假设模型A擅长写实风格,模型B擅长动漫风格:
合并后的模型会在写实和动漫之间取得中间效果, 值越小越接近模型B,越大越接近模型A。
支持的采样器类型覆盖所有主流算法,不同采样器在速度和质量的权衡不同:
| 采样器 | 推荐步数 | 质量 | 速度 | 特点 |
|---|---|---|---|---|
| DPM++ 2M Karras | 20-30 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ | 通用最优选择 |
| DPM++ 2S A Karras | 20-30 | ⭐⭐⭐⭐ | ⭐⭐⭐ | 高质量带随机性 |
| DPM++ SDE Karras | 20-30 | ⭐⭐⭐⭐⭐ | ⭐⭐ | 最高质量,最慢 |
| Euler A | 20-40 | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ | 随机性好 |
| Euler | 20-40 | ⭐⭐⭐ | ⭐⭐⭐⭐⭐ | 确定性,复现性好 |
| DDIM | 30-50 | ⭐⭐⭐ | ⭐⭐⭐⭐ | 经典,兼容性强 |
| LCM | 2-4 | ⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | 极速,质量略低 |
| DPM² Solver++ | 8-12 | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ | 极速高质量 |
步数与质量关系(以 DPM++ 2M Karras 为例,1024×1024 SDXL):
| 采样步数 | 生成时间 | 质量感知 | 适用场景 |
|---|---|---|---|
| 5-8 | ~2秒 | 模糊,细节不足 | 草图/快速预览 |
| 10-15 | ~3秒 | 基本清晰 | 批量生图 |
| 20 | ~5秒 | 质量良好 | 标准日常使用 |
| 30 | ~7秒 | 高质量 | 最终输出 |
| 40+ | ~10秒 | 边际收益递减显著 | 超高要求 |
CFG Scale 调优指南:
加载和使用自定义 embeddings 进行风格化控制。嵌入文件通常很小(10-100KB),可在多个模型间通用:
# 使用 embeddings 的提示词写法
# 假设已加载名为 "painting_style" 的 embedding
# 在 CLIP Text Encode 节点中写入:
positive_prompt = "a cat wearing a hat, painting_style"
negative_prompt = "blurry, low quality, painting_style-neg"
常用 Embeddings 推荐:
| 名称 | 类型 | 大小 | 效果 |
|---|---|---|---|
| bad-hands-5 | 负面 | ~12KB | 减少手指畸变 |
| bad-prompt-v2 | 负面 | ~10KB | 通用质量提升 |
| EasyNegativeV2 | 负面 | ~25KB | 综合质量提升 |
| Deep Negative V1.x | 负面 | ~18KB | 深度负向优化 |
| Painting Style | 正向 | ~35KB | 绘画风格化 |
ComfyUI 提供完整的 REST API,可无缝集成到生产管线中:
import requests
import json
import uuid
# API 交互示例:提交工作流并轮询结果
def queue_prompt(workflow, server_url="http://localhost:8188"):
"""提交工作流到 ComfyUI 执行队列"""
client_id = str(uuid.uuid4())
payload = {
"prompt": workflow,
"client_id": client_id
}
response = requests.post(
f"{server_url}/prompt",
json=payload
)
result = response.json()
prompt_id = result.get("prompt_id")
# 轮询历史记录获取结果
while True:
history = requests.get(
f"{server_url}/history/{prompt_id}"
).json()
if prompt_id in history:
return history[prompt_id]
time.sleep(0.5)
# 典型 API 应用场景:
# 1. 批量生成:循环执行不同种子的工作流
# 2. Web 服务:封装成 REST API 供前端调用
# 3. CI/CD 集成:在自动化管线中触发图像生成
# 4. A/B 测试:并行运行不同参数对比效果
ComfyUI 最强大的优势之一是其高度活跃的自定义节点生态系统。截至 2025 年,社区已开发超过 5,000 个自定义节点,极大扩展了 ComfyUI 的功能边界。
| 节点包 | GitHub Stars | 功能描述 | 必装指数 |
|---|---|---|---|
| ComfyUI-Manager | 8k+ | 节点管理器:安装/删除/更新/缺失检测 | ⭐⭐⭐⭐⭐ |
| ComfyUI Impact Pack | 6k+ | 图像编辑与处理增强工具集 | ⭐⭐⭐⭐⭐ |
| WAS Node Suite | 5k+ | 全能工具套件:图像/文本/掩码处理 | ⭐⭐⭐⭐⭐ |
| rgthree's Nodes | 4k+ | 路由/选择器/条件控制实用节点 | ⭐⭐⭐⭐ |
| Efficiency Nodes | 3k+ | 精简工作流的效率优化节点 | ⭐⭐⭐⭐ |
| ComfyUI Workflow Component | 2k+ | 可复用工作流组件化 | ⭐⭐⭐⭐ |
| ComfyUI ControlNet Aux | 3k+ | 预处理节点集(DWPose 姿态检测等) | ⭐⭐⭐⭐⭐ |
| ComfyUI IPAdapter plus | 2k+ | IP-Adapter 增强功能 | ⭐⭐⭐⭐ |
| ComfyUI Custom Scripts | 2k+ | 常用脚本与自动化工具 | ⭐⭐⭐ |
ComfyUI-Manager 是安装 ComfyUI 后最优先推荐安装的自定义节点。核心功能:
在 ComfyUI Desktop 版本中,ComfyUI-Manager 已默认集成安装。
ComfyUI 提供了清晰的自定义节点开发文档,任何有 Python 基础的用户都可以创建自己的节点:
# 完整自定义节点示例:一个简单的风格迁移节点
import torch
import torch.nn.functional as F
class StyleTransferNode:
"""对图像应用任意风格迁移效果"""
@classmethod
def INPUT_TYPES(cls):
return {
"required": {
"input_image": ("IMAGE",),
"style_reference": ("IMAGE",),
"strength": ("FLOAT", {
"default": 0.5,
"min": 0.0,
"max": 1.0,
"step": 0.05,
"display": "slider"
}),
"content_layers": ("INT", {
"default": 3,
"min": 1,
"max": 6,
"step": 1
})
},
"optional": {
"mask": ("MASK",),
}
}
RETURN_TYPES = ("IMAGE", "MASK")
RETURN_NAMES = ("stylized_image", "impact_mask")
FUNCTION = "apply_style"
CATEGORY = "image/stylization"
def apply_style(self, input_image, style_reference,
strength, content_layers, mask=None):
"""
apply_style: 执行风格迁移
- 参数: input_image (B×H×W×C tensor), style_reference ...
- 注意: strength 过低(<0.2)时效果不明显
"""
# 简化版风格迁移实现
processed = input_image * strength + \
style_reference * (1 - strength)
return (processed, mask)
# 节点注册映射
NODE_CLASS_MAPPINGS = {
"StyleTransferNode": StyleTransferNode
}
NODE_DISPLAY_NAME_MAPPINGS = {
"StyleTransferNode": "Style Transfer 🌈"
}
这是最基础的 ComfyUI 工作流,适合理解节点连接逻辑:
文字版流程图 (Mermaid):
适合保持人物姿态或场景结构一致性的工作流:
深度图控制效果:
在多帧生成或系列图像中保持统一风格:
IP-Adapter 权重设置建议:
| 使用场景 | 推荐权重 | 效果说明 |
|---|---|---|
| 强风格化(油画、水彩) | 0.8-1.0 | 强烈跟随参考图风格 |
| 中等风格影响 | 0.5-0.7 | 风格保留同时允许变化 |
| 弱风格引导 | 0.3-0.4 | 仅轻微影响色彩氛围 |
| 内容参考为主 | 1.0 (Plus version) | 保持参考图的内容结构 |
| 面部保持(Face ID) | 0.6-0.8 | 使用 IP-Adapter Face ID 变体 |
低分辨率快速生成 → 高分辨率精细修复的两阶段策略:
第二阶段关键参数调优:
| 参数 | 推荐值 | 过高后果 | 过低后果 |
|---|---|---|---|
| denoise (重绘幅度) | 0.25-0.45 | 图像结构改变 | 模糊残留 |
| 步数 | 12-18 | 缓慢但边际收益低 | 修复不充分 |
| upscale factor | 1.5-2.0 | 显存不足 | 提升有限 |
| ControlNet tile | 推荐使用 | — | 细节修复不充分 |
使用 Wan 2.1 模型生成视频:
视频生成参数对比:
| 参数 | Wan 2.1 | Hunyuan Video | SVD |
|---|---|---|---|
| 推荐步数 | 30 | 30 | 25 |
| CFG | 5.0 | 7.0 | 3.0 |
| 帧间隔 | 1 | 2 | 3 |
| 最大帧数 | 81 | 129 | 25 |
| 强制 T 帧 | 81 | — | — |
| 输出格式 | MP4 | MP4 | GIF/MP4 |
| 维度 | ComfyUI | AUTOMATIC1111 WebUI | Fooocus | Diffusers (API) |
|---|---|---|---|---|
| 界面类型 | 节点图(可视化编程) | 传统标签页 UI | 极简式 | 纯代码 |
| 学习曲线 | 🟡 中等偏高 | 🟢 低 | 🟢 极低 | 🔴 高 |
| 灵活度 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐ | ⭐⭐⭐⭐⭐ |
| 性能优化 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐ |
| 可重复性 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐⭐⭐ |
| 工作流分享 | JSON / 嵌入 PNG | 图片信息格式 | 一键配置 | 代码 |
| 自定义节点 | ~5,000+ | ~500+ | 有限 | N/A(用代码控制) |
| 低显存支持 | 1GB+ | 4GB+ | 4GB+ | 取决于代码 |
| 最新模型支持 | 最广泛(2周内) | 广泛 | 有限 | 依赖代码更新 |
| 批处理能力 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐ | ⭐⭐⭐⭐⭐ |
| 视频生成 | ⭐⭐⭐⭐⭐ | 有限 | ❌ | ⭐⭐⭐⭐ |
| API 集成 | 原生 API | 扩展 API | 有限 | 原生 |
场景化选择建议:
ComfyUI Desktop 提供 Windows 和 macOS 的图形化安装程序,一键安装,内置 ComfyUI-Manager。
.exe 安装包.dmg 安装包(支持 Intel 和 Apple Silicon)适用于 Linux 和需要手动控制的用户:
# Linux 安装
git clone https://github.com/Comfy-Org/ComfyUI.git
cd ComfyUI
pip install -r requirements.txt
python main.py
# 指定额外模型路径
# 编辑 extra_model_paths.yaml 配置搜索路径
# 示例配置:
# foocus:
# base_path: /path/to/other/ui/models
# checkpoints: checkpoints/
启动参数完整列表:
| 参数 | 功能 | 使用场景 |
|---|---|---|
--highvram |
模型常驻显存,不卸载 | VRAM ≥ 12GB,追求速度 |
--normalvram |
自动管理显存(默认) | 标准配置 |
--lowvram |
低显存模式,每次卸载 | VRAM ≤ 4GB |
--novram |
完全不用显存 | CPU 运行 |
--cpu |
纯 CPU 模式 | 无 GPU |
--force-fp16 |
强制 fp16 精度 | 减少显存占用 |
--listen 0.0.0.0 |
监听所有网络接口 | 远程访问 |
--port 8188 |
自定义端口 | 多实例部署 |
--preview-method auto |
潜空间预览模式 | 加快预览速度 |
--disable-metadata |
禁用元数据写入 | 隐私/性能 |
对于没有本地 GPU 的用户,多种云服务可选:
| 服务 | 模式 | 价格(约) | 特点 |
|---|---|---|---|
| Shakker AI | 在线工作流 | $10-30/月 | WebUI 界面,不需部署 |
| Replicate | API | 按用量付费 | 生产级 API,自动扩缩 |
| RunPod | GPU 实例 | $0.2-0.8/小时 | 灵活,可自定义环境 |
| Vast.ai | GPU 租赁 | $0.1-0.5/小时 | 最便宜,社区市场 |
| Modal | Serverless | 按调用计费 | 无服务器,按毫秒计费 |
需求:100 件商品在不同背景下的展示图
传统方案时间:100 件 × 30 分钟/件 = 50 小时(需找外景、拍摄、修图)
ComfyUI 方案:
需求:同一角色在不同服装、场景、表情下的 20 张概念图
| 方法 | 一致性 | 工作量 |
|---|---|---|
| 纯提示词 | 🟡 中 | 提示词调优 2 小时 |
| IP-Adapter Face ID | 🟢 优 | 初次设置 30 分钟 |
| InstantID | 🟢 极优 | 需先提面部嵌入 |
将实拍视频转换为动画风格:
--lowvram 配合按需加载,在低显存环境下运行大模型| 症状 | 可能原因 | 解决步骤 |
|---|---|---|
| 节点全部变红 | 模型路径错误 | 检查 Checkpoint 路径或使用 ComfyUI-Manager 下载 |
| 部分节点变红 | 缺少自定义节点 | ComfyUI-Manager → Install Missing Custom Nodes |
| 黑色/灰色图像 | VAE 类型不匹配 | 更换与模型匹配的 VAE 文件 |
| 显存溢出 | 分辨率过高或模型过大 | 启用 --lowvram,降低分辨率 |
| 生成模糊 | 步数不足或 CFG 不合理 | 步数增加至 25-30,CFG 调整至 5-8 |
| 人脸畸变 | 手/脸结构问题 | 添加面部修复节点或使用 Face Detailer |
| 图片带水印 | 模型内置水印 | 使用去水印模型或更换别的 Checkpoint |
| 加载工作流报版本错 | 版本不兼容 | 更新 ComfyUI 至最新版本 |
| 视频卡顿 | 帧率低或帧间跳变 | 增加帧数使用帧插值,使用帧间一致性节点 |
| API 返回 500 | JSON 格式错误 | 检查工作流 JSON 结构,确保 prompt 格式正确 |
| 优化内容 | 质量提升 | 说明 |
|---|---|---|
| 基本的正面+负面提示词 | 基准 | 初始质量 |
| + 详细场景描述 (30-50词) | +30% | 更精确的场景控制 |
| + 风格指示词 (photo/film/3D) | +20% | 更好的风格一致性 |
| + 艺术家/摄影师引用 | +15% | 特定美学参考 |
| + 光照/视角/颜色描述 | +20% | 更好的构图和氛围 |
| + 详细负面提示词 (15-20个) | +25% | 大幅减少畸变 |
| + 使用 LoRA 微调 | +40% | 最高质量提升 |
| 阶段 | 内容 | 预计时间 | 关键技能 |
|---|---|---|---|
| 入门 | 安装、基础文生图、参数理解 | 1-2 小时 | 节点连接、基本参数 |
| 基础 | 图生图、ControlNet、VAE 调换 | 2-4 小时 | 条件控制、模型理解 |
| 中级 | 多 ControlNet、LoRA 融合、IP-Adapter | 4-8 小时 | 多模型协作、权重平衡 |
| 进阶 | 自定义节点开发、API 集成、视频生成 | 8-16 小时 | Python 编程、API 调用 |
| 专业 | 生产部署、批量管线、自定义模型 | 16-40 小时 | Docker、负载均衡、模型训练 |
ComfyUI 已成为 AI 视觉创作领域的事实标准工具之一。其节点图架构提供了无与伦比的灵活性和控制力,而庞大的开源社区则确保了与最新模型和技术的同步。
关键数据总结:
| 维度 | 数据 |
|---|---|
| GitHub Stars | 70,000+ |
| 自定义节点 | 5,000+ |
| 支持模型 | 30+ 独立模型家族 |
| 最低 GPU 显存 | 1GB(--lowvram) |
| 社区用户数 | 数百万级 |
| 发布周期 | 约 2 周/稳定版 |
未来趋势:
对于追求质量、控制力和可复现性的 AI 创作者来说,ComfyUI 是当前最强大、最值得投入时间学习的创作工具。从一位独立艺术家到大型工作室,从一次性的概念设计到自动化的生产线,ComfyUI 的适用范围远超同类工具。