HAE Studio

· 7 分钟

ComfyUI 学习笔记

整理 Stable Diffusion / SDXL / FLUX 引擎对比、云端与本地部署、额外模型路径配置、models 目录结构和 Krita + AI 插件接入的完整笔记。

ComfyUI 学习笔记

软件认识

引擎

  • Stable Diffusion：底层模型 SD1.5 = 基础模型 1.5 CGF = 8-7 优点：配置要求 4G 就够，速度很快，生态全 缺点：质量一般，细节一般，容易出细节错误

  • Stable Diffusion XL：Stable Diffusion 系列进阶版 SDLX = 基础模型 XL CFG = 3 优点：质量也 OK，细节也行，配置要求不那么高 缺点：比不上 FLUX.1

  • Forge Flux：全新扩散模型架构 FLUX.1 = F.1 CFG = 1 优点：质量非常高/细节不出错 缺点：配置要求也非常高

界面

  • WebUI：集成式操作平台
  • ComfyUI：节点式工作流工具

应用

绘世启动：ComfyUI 整合包 Krita：专为数字绘画设计的工具，Krita 插件：krita-ai-diffusion Photoshop：专于图像处理（修图、合成、设计）的工具，PS 插件：Auto-Photoshop-StableDiffusion

AI 应用平台

平台名称核心功能特点价格（参考）适用场景是否支持中文是否需要技术背景
国内平台
图生生电商图生成、AI 模特、智能修图操作简单，成本低，支持批量处理免费版+付费套餐（29 元/月起）电商主图、营销素材生成是否
森宇宙好绘 AIPS 内嵌生图、多行业 AI 模特、场景迁移效率提升 200%，企业级客户验证免费试用+企业定制电商详情页、家居设计是基础 PS 技能
Vmake AIAI 换装模特、智能抠图、视频优化全在线操作，支持多平台电商免费版+订阅制（29 元/月起）中小电商卖家、内容创作者是否
极智算GPU 算力租赁（4090/H20）按小时计费，价格透明1.9 元/小时起（4090）AI 训练、深度学习是基础
AutoDL弹性 GPU 租赁、预装框架按秒计费，新手友好1.58 元/小时起（3090）个人开发者、短期实验是基础
晨羽智云GPU 算力租赁（4090/5090）、AI 应用商店、私有化部署开学季特惠 8.5 折，支持高校科研与企业定制化2.19 元/小时起（4090）深度学习训练、大模型微调是基础
仙宫云GPU 算力租赁（4090/A100）、一键部署 AI 应用轻量化图形系统，秒级计费，价格低于国际平台2.37 元/小时起（4090）AI 创作、模型训练、科研计算是基础
哩布哩布文生图、图生图、LoRA 模型训练、模型社区10 万+免费模型，支持在线 SD WebUI免费版+VIP（39 元/月起）电商设计、游戏动漫、室内设计是否
国外平台
MidjourneyAI 图像生成（艺术风格）画质顶尖，需 Discord 操作基础版$10/月概念艺术、创意海报否是
CivitaiStable Diffusion 模型分享、社区交流、模型交易17 万+模型库，支持免费下载与付费模型分成免费版+订阅制（$10/月起）AI 绘画模型获取、创作灵感部分支持是（本地部署）
Claid.ai产品图优化、自定义 AI 模型训练电商场景优化，API 支持批量处理按次计费（$0.15/图起）跨境电商商品图优化否基础
Vast.ai分布式 GPU 算力租赁（A100/4090）价格低廉，全球节点，适合预算有限项目$0.64/小时起（A100）科学计算、中小模型训练否是
Lambda Labs高性能 GPU 集群、深度学习优化环境企业级服务，技术支持完善$1.50/小时起（A100）大规模模型训练、科研项目否是

技能

文生图：根据提示词生成参考图 图生图：白膜生图、线稿生图、毛坯生图、AI 洗图（改风格、改材质、改细节、优化放大） AI 视频动画：待定 训练模型：大模型 Stable Diffusion（控制设计主体）、小模型 Lora（控制主体细节风格）

ComfyUI 云端安装

ComfyUI 可以分为本地运行和云端运行，本地运行受限于配置，只能做一些基础操作；现在网上也有不少做云端部署的，费用不高，大约在 2-4 元/小时左右，根据需求选择。以仙宫云平台为例：

另一种是华晨智云平台。

ComfyUI 本地安装（绘世启动器）

下载安装

下载并安装 绘世启动器安装文件，找到启动器运行依赖-dotnet-6.0.11.exe，双击运行部署环境；接着解压这个ComfyUI-aki-vx.x.zip压缩包，解压完后，双击A-comfyui 绘世启动器.exe启动。

由于并未部署模型，ComfyUI 也只是能启动而已，并不能运行工作流。退出软件，开始设置 Models、Workflows、Custom_Nodes 这三大模块。

  • Workflows：工作流路径：X:\ComfyUI\user\default\workflows，这个平时下载的工作流，可以放进去。
  • Custom_Nodes：节点：X:\ComfyUI\custom_nodes，根据工作流所涉及的节点，都会保存在这里。
  • Models：模型：X:\ComfyUI\models，所涉及到的模型，都在这里，由于模型文件都比较大，下面会介绍如何保存在其他路径。

ComfyUI 设置额外的模型路径

本地磁盘实在装不下 models 文件，同时为了模型文件能实现共享，特意上网上找了一下教程，共后续参考。

配置额外路径必须包含基础路径 model 空文件夹，然后在 ComfuUI 的安装目录找到 extra_model_paths.yaml.example 文件，用记事本打开，参考我的写法编写新路径保存，然后去掉后缀.example 即可。

详细配置操作可以查看 ComfyUI 关于 extra_model_paths.yaml 的配置说明。

base_path: 指示的位置是 model 文件夹的上一级，并不一定要位于 ComfyUI 的安装目录之下，就像我的位置是在挂载盘 Z:\sata11-18061551810a\AI Program\，保证挂载盘目录里有 model 文件夹，之后的路径才能正确索引到子文件夹中。base_path: Z:\sata11-18061551810a\AI Program\ 的写法中，base_path: 空格+磁盘+冒号反斜杠，别漏了空格。

#other_ui:
  base_path: Z:\sata11-18061551810a\AI Program\
  animatediff_models: models/animatediff_models/
  animatediff_motion_lora: models/animatediff_motion_lora/
  checkpoints: models/checkpoints/
  clip: models/clip/
  clip_vision: models/clip_vision/
  configs: models/configs/
  controlnet: models/controlnet/
  diffusers: models/diffusers/
  diffusion_models: models/diffusion_models/
  embeddings: models/embeddings/
  gilgen: models/gilgen/
  hypernetworks: models/hypernetworks/
  inpaint: models/inpaint/
  ipadapter: models/ipadapter/
  LLM: models/LLM/
  loras: models/loras/
  mmdets: models/mmdets/
  onnx: models/onnx/
  photomaker: models/photomaker/
  RMBG: models/RMBG/
  sams: models/sams/
  style_models: models/style_models/
  text_encoders: models/text_encoders/
  ultralytics: models/ultralytics/
  unet: models/unet/
  upscale_models: models/upscale_models/
  vae: models/vae/
  vae_approx: models/vae_approx/

models 内各文件夹作用

models/
├── checkpoints/          # 主模型（Stable Diffusion 大模型）
├── vae/                 # VAE 模型（变分自编码器）
├── loras/               # LoRA 微调模型
├── embeddings/          # Textual Inversion 嵌入模型
├── controlnet/          # ControlNet 控制模型
├── upscale_models/      # 超分辨率放大模型
├── clip_vision/         # CLIP 视觉模型（用于图像编码）
├── ipadapter/          # IPAdapter 模型（图像提示适配）
├── animatediff/        # AnimateDiff 动画模型
├── diffusers/          # HuggingFace Diffusers 格式模型
└── ...

  1. checkpoints/ 存放内容：Stable Diffusion 主模型（.ckpt 或 .safetensors 格式）。 用途：文生图、图生图的核心模型，如： realisticVision.safetensors（写实风格） anything-v5.ckpt（二次元风格） sd_xl_base_1.0.safetensors（SDXL 基础模型）

  2. vae/ 存放内容：变分自编码器（VAE）模型。 用途：改善颜色和细节，通常与主模型配套使用（如 vae-ft-mse-840000-ema-pruned.ckpt）。

  3. loras/ 存放内容：LoRA（Low-Rank Adaptation）微调模型（.safetensors 格式）。 用途：轻量级风格/角色定制，例如： add_detail.safetensors（增加细节） japaneseDollLikeness.safetensors（日系风格）

  4. embeddings/ 存放内容：Textual Inversion 嵌入文件（.pt 或 .bin 格式）。 用途：自定义关键词触发特定风格或对象（如 easynegative.pt 负面提示词嵌入）。

  5. controlnet/ 存放内容：ControlNet 模型（.pth 或 .safetensors 格式）。 用途：控制图像生成的结构（如线稿、深度图等），常见模型： control_v11p_sd15_canny.pth（边缘检测） control_v11f1p_sd15_depth.safetensors（深度图控制）

  6. upscale_models/ 存放内容：超分辨率放大模型（如 ESRGAN、SwinIR）。 用途：提升图像分辨率，例如： 4x_NMKD-Superscale-SP_178000_G.pth RealESRGAN_x4plus.pth

  7. clip_vision/ 存放内容：CLIP 视觉编码模型（如 clip_vision_g.safetensors）。 用途：IPAdapter 等插件所需的图像编码器。

  8. ipadapter/ 存放内容：IPAdapter 模型（.safetensors 格式）。 用途：实现图像提示（Image Prompt）功能。

  9. animatediff/ 存放内容：AnimateDiff 动态模型（如 mm_sd_v15.ckpt）。 用途：生成动画序列。

  10. diffusers/ 存放内容：HuggingFace Diffusers 格式的模型（文件夹形式）。 用途：兼容 Diffusers 库的模型（如 stable-diffusion-xl-1.0）。

🧰 文件格式：

  • 主模型、LoRA、VAE 等通常为 .safetensors 或 .ckpt。
  • ControlNet 可能是 .pth 或 .safetensors。

🔦 模型兼容性：

  • SD 1.5 和 SDXL 的模型不互通，需匹配使用。

🔎 路径问题：

  • 如果模型未加载，检查路径是否在 extra_model_paths.yaml 中正确配置。

🔧 如何下载模型？ 手动下载：

  • 从 CivitAI 或 HuggingFace 下载后放入对应文件夹。
  • 通过 ComfyUI-Manager：
  • 在 ComfyUI 界面中，使用 Manager 的模型下载功能自动安装。

💡 示例：典型工作流依赖的模型

  • 文生图：checkpoints/ + vae/ + loras/（可选）。
  • ControlNet 线稿上色：checkpoints/ + controlnet/（线稿模型）。
  • 超分辨率：checkpoints/ + upscale_models/。
  • 如果有特定功能无法运行，优先检查对应文件夹是否缺少模型！

报错问题如何解决：根据报错代码，自行百度搜索解决方法，一般 ComfyUI Manager 能解决大部分问题。

绘世启动器部署

在处理好模型路径更改、工作流与相关节点安装后，需要对 ComfyUI 进行版本的更新与替换（仅限本地安装模式）。

krita 安装

  1. 下载并安装开源绘画软件：krita，安装好后打开即可。

  2. 接着下载 Krita 里的 AI 界面插件，下载链接见 krita-ai-diffusion，下载好后，打开 Krita，执行工具 > 脚本 > 从文件导入 python 插件，选择刚才下载的压缩包，重启软件，选择 新建图像 后，就会看到右侧的 AI 窗口。

  3. 点击 配置 按钮，如果显示的是英文，可以在设置里改一下中文。

  4. 注意，任何修改保存后，都需要重启软件才能生效。

  5. 打开本地 ComfyUI（或者云端 ComfyUI），获取运行服务器地址，本地一般都是 127.0.0.1:8188，云端则直接复制连接地址即可。接着继续点 配置 按钮，进行 连接 设置。

  6. 下面我们来认识一下这个 AI 图像生成界面。

  7. 点击 设置 弹出 风格预设 界面，自行设置即可。

  8. 改完后记得右下角保存，保存完后重启 Krita 软件，再查看 AI 生成界面。