ComfyUI入门-基础概念

声明

本文只是作一个简单的介绍，如果想要了解更多专业解释，可以参考文档

整体概念

Civitai

• 一个模型网站，可以在上面下载需要的模型

工作流(Workflow)

• 上面就是一个最为简单与基本的工作流
• 工作流 = 一张“生成图片的流程图”
• 工作流的获取
  • 网络平台上有大量的获取方式
  • 这里给新手分享一下我的一个工作流，基本能用。https://files.catbox.moe/6lp7z0.png
  • 另外，官方也有专门的工作流，可以学习一些技巧与方法.使用方法是打开文件夹后把里面的图片导入到你的comfyUI.
    • 注意：英文中的2有时会代表to,比如img2img 表示图生图

节点（Node）

• 节点就是你在工作流中看见的这些矩形，不同节点有不同功能。可以理解为它是功能板块
  • 比如上面的正向提示词，你可以通过输入，来控制图像长什么； 比如 latent可以控制生成的图像的像素
• ComfyUI 的本质就是用“节点流程图”控制 AI 生成图片
• 如何解决缺失节点的问题
  • 右上角有一个Manager,点击后找到”install missing custom nodes”，效果是会自动检查当前缺失的节点，一个个点击下载即可，注意要重启后才能使用
  • 一些节点中可能没有对应的模型，可以使用ai让它提供对应的网址下载即可

Checkpoint（基础模型）

• Checkpoint是经过大量图片训练得到的模型，也就是我们用来生成图片的基础。
  • Checkpoint 决定绘画风格、画面质量等
    • 例如：
      • 写实模型、二次元模型
  • 这里推荐NoobAI 及其中文使用指南

• 需要注意的是关于模型存在一些兼容性的问题,可以理解为相当于版本更新，下面是具体的关系与兼容情况。
  • 不过一般来说只要不是SD这种老旧的模型，且base是同一系，对应的lora等节点基本可以使用。比如noobai也可以使用IL系列的一些lora。

CLIP（Contrastive Language–Image Pre-training）

• 也就是提示词，分为正向与负向提示词
• 提示词使用英文来书写，如果你不知道写什么可以到标签超市中寻找

作画相关的概念

lantent

• latent(潜空间)：一种“压缩后的图像表示”，AI在这种表示中进行计算，而不是直接在像素图片上操作。相当于画布，后面的ksampler在上面进行作画。会在比如“空lantent图像”节点可以确定生成图片的大小

Ksampler（采样器）

• 真正负责画图的节点
• 什么是去噪(denoise)
  • 在comfyUI中代表允许改变原图的程度，一般来说，1 代表完全重画，0.5是中等修改。一般来说我们生图的时候可以大一些，进行高清放大、修复的时候使用0.5左右
• 具体参数
  • steps，控制步数。 数值越大，图片画得越好，但是消耗时间也越多。
  • cfg, 提示词影响强度。一般你使用的模型会有对应的参数介绍
  • sampler，采样算法。同上会有介绍。

VAE（图像解码器）

• VAE的作用是在“像素图片（Image）”和“潜空间表示（Latent）”之间进行转换。
• 可以理解为一个压缩与解压器。latent解压得到image,image压缩得到latent进行处理
• 因此分为 Encode和Decode.
  • Encode(image—>latent)
  • Decode(latent—>image)

LoRA（Low-Rank Adaptation）

• 一般来说我们的基础模型训练量非常大，占用的内存非常大，大概是2~8GB
• 而LoRA的思路是一个小的模型，相当于专门适配某个方面。因此一般来说，LoRA占用内存只有几百MB。比如说我想把Mujica的角色画得好一些，那么就可以下载对应的lora
• LoRA有什么用
  • 学会某个画师的画风
  • 训练某个角色或某些角色
  • 特定元素。可以把特定的元素画得更好——比如说手、动作姿势
• 注意lora与模型的兼容问题
  • lora是由某个底模训练而来的，比如noobai,illustrious.因此要注意与你使用的checkpoint之间的兼容问题

总结

刚刚开始上手可能会想要找各种资源，实际上要找的只有workflow、checkpoint、lora. 其它的是默认工具，需要了解如何调整参数。