[AIGC] ComfyUI 节点解释_comfyui节点介绍-程序员宅基地

技术标签： AIGC  

英文原文：https://aituts.com/comfyui/

我们如何了解实际发生的情况以便我们可以创建和修改工作流程？

要了解节点，我们必须了解一些稳定扩散的工作原理。

让我们看一下默认的工作流程。

如果您没有使用默认工作流程，或者您一直在搞乱界面，请单击右侧边栏上的“Load Default”。

Load Checkpoint Node

用于生成图像的 .safetensors 或 .ckpt 检查点模型有 3 个主要组件：

  • Unet：执行“扩散”过程，即我们称之为生成的图像的逐步处理
  • CLIP：将文本转换为Unet可以理解的格式
  • VAE：将图像从潜在空间解码到像素空间（当我们进行 img2img 时，也用于将常规图像从像素空间编码到潜在空间）

在 ComfyUI 工作流程中，这由 Load Checkpoint 节点及其 3 个输出表示（MODEL 指 Unet）。

在这里插入图片描述
这些输出连接到什么？

CLIP Text Encode Node

Load Checkpoint 节点的 CLIP 输出连接到 CLIP Text Encode 节点。

在这里插入图片描述
CLIP模型用于将文本转换为Unet可以理解的格式（文本的数字表示）。 我们称这些为嵌入。

CLIP Text Encode 节点将检查点的 CLIP 模型作为输入，将提示（正向和负向）作为变量，执行编码过程，并将这些嵌入输出到下一个节点 KSampler。

KSampler

在 Stable Diffusion 中，图像是通过称为采样的过程生成的。

在 ComfyUI 中，此过程发生在 KSampler 节点中。 这是实际的“生成”部分，因此您会注意到，当您对提示进行排队时，KSampler 需要花费最多的时间来运行。

在这里插入图片描述
KSampler 接受以下输入：

  • model：来自 Load Checkpoint 节点的 MODEL 输出 (Unet)
  • positive：CLIP模型编码的正向提示（CLIP Text Encode节点）
  • negative：CLIP模型编码的否定提示（其他CLIP Text Encode节点）
  • latent_image：潜在空间中的图像（Empty Latent Image节点）

由于我们仅根据提示生成图像 (txt2img)，因此我们使用 Empty Latent Image节点向 Latent_image 传递空图像。

（您也可以将实际图像传递给 KSampler，以执行 img2img。我们将在下面讨论这一点）

KSampler 中发生了什么？
 
Diffusion(扩散)是实际生成图像的过程。
 
我们从随机信息数组和嵌入（编码的正面和负面提示词）开始。
 
扩散发生在多个步骤中，每个步骤都对信息数组（也称为潜在变量）进行操作，并产生另一个更类似于提示文本的信息数组。
 
因此，我们从一个随机信息数组开始，最后得到一个类似于我们已知的信息的数组。
 
KSampler 输出此信息。 然而，它还不在像素空间中（我们看不到它），它仍然是一个潜在的表示。

VAE

VAEDecode 节点有 2 个输入：

  • 我们的检查点模型附带的 VAE（您也可以添加自己的 VAE）
  • 我们的KSampler已经完成去噪的潜在空间图像。

VAE 用于将图像从潜在空间转换到像素空间。

它将最终的像素图像传递到“Save Image”节点，该节点用于向我们显示图像并让我们下载它。

在这里插入图片描述
默认工作流程是您在 ComfyUI 中找到的最简单的工作流程。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013716859/article/details/135214946

智能推荐

Linux安装使用jprofiler6分析服务器应用状态-程序员宅基地

文章浏览阅读77次。为什么80%的码农都做不了架构师？>>> ..._jprofiler6 key

苏小红C语言第四版课后习题练习7.7最大公约数三种计算方式_c语言程序设计第四版课后题答案苏小红第七章-程序员宅基地

文章浏览阅读170次。（可以看出递归算法更加侧重于计算的技巧，并且计算机计算的次数也相对更少）；_c语言程序设计第四版课后题答案苏小红第七章

[PyTorch小试牛刀]实战六·准备自己的数据集用于训练（基于猫狗大战数据集）_pytorch入门与实践 dogsvscats pycharm运行-程序员宅基地

文章浏览阅读3.8k次。[PyTorch小试牛刀]实战六·准备自己的数据集用于训练（基于猫狗大战数据集）在上面几个实战中，我们使用的是Pytorch官方准备好的FashionMNIST数据集进行的训练与测试。本篇博文介绍我们如何自己去准备数据集，以应对更多的场景。我们此次使用的是猫狗大战数据集，开始之前我们要先把数据处理一下，形式如下datas│└───train│ ││ └───cats│ ..._pytorch入门与实践 dogsvscats pycharm运行

CS61C Lab 攻略：从入门到升天-程序员宅基地

文章浏览阅读968次，点赞3次，收藏4次。CS61C 主要内容为计算机组成原理，重难点是实验（Lab）和项目（Project），当然课程的精华也是实验和项目。本文是对 CS61C 的实验进行分析思考和总结，为项目做好铺垫。_cs61c

unity进入触发器和退出触发器的事件_unity 进入一个触发器内部-程序员宅基地

文章浏览阅读6.5k次。//分别指图片文本public GameObject imageKongLong;public GameObject imageQiang;void Start () {}void Update () {}//进入触发器public void OnTriggerEnter(Collider other){if (other.gameObject.tag == “konglong..._unity 进入一个触发器内部

python学习十一：python常用模块使用，如 加密模块pyarmor，时间模块time等_pyarmor使用-程序员宅基地

文章浏览阅读989次。前言整理一下经常使用到的模块一、加密模块pyarmor在公司上班的时候，有一次要发布python代码，设计到对代码的保密，需要进行加密。因此对python代码加密需要用到pyarmor模块。先进行安装pyarmor 模块pip install pyarmor 默认安装到全局。安装完就可以加密了，我这里通过案例进行笔记。实例 1: 加密脚本# 使用 obfuscate 加密路径 `examples/simple` 的下面的所有脚本pyarmor obfuscate --recursive e_pyarmor使用

随便推点

APM、PIXHAWK、PX4的关系_px4和pixhawk的引脚定义-程序员宅基地

文章浏览阅读6.9k次，点赞10次，收藏24次。_px4和pixhawk的引脚定义

MPU6050的Arduino实现_mpu6050库函数arduino-程序员宅基地

文章浏览阅读3.9w次，点赞78次，收藏393次。Arduino有多种通信方式，每一种通信方式都有相对应的类库来支持：1）硬件串口通信——HardwareSerial 类库2）软件模拟串口通信——SoftwareSerial 类库3）IIC总线的使用——Wire 类库4）SPI总线的使用——SPI 类库 MPU6050的数据接口用的是I2C总线协议，因此我们需要Wire类库的帮助来实现Arduino与MPU6050之间的通..._mpu6050库函数arduino

大数据技术复习_的是: a 大数据侧重于对海量数据的存储、处理与分析,从海量数据中发现价值,服-程序员宅基地

文章浏览阅读438次。大数据4“V”：数据量大（Volume）数据类型繁多（Variety）处理速度快（Velocity）价值密度低（Value）大数据对思维方式的影响：全样而非抽样、效率而非精确、相关而非因果。大数据的基本处理流程：数据采集、存储、分析和结果呈现。数据采集与预处理:利用ETL工具将分布的、异构数据源中的数据，如关系数据、平面数据文件等，抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础；也可以利用日志采集工具（如Flume、Kafka等）把实_的是: a 大数据侧重于对海量数据的存储、处理与分析,从海量数据中发现价值,服

Node.js文件模块fs监视文件变化_fs.watch-程序员宅基地

文章浏览阅读8k次。Node.js文件模块fs监视文件变化Node中文件模块fs监视文件的函数源码如下：fs.watch = function(filename) { nullCheck(filename); var watcher; var options; var listener; if (util.isObject(arguments[1])) { options =_fs.watch

python爬虫---selenium库的用法-程序员宅基地

文章浏览阅读132次。selenium是一个自动化测试工具，支持Firefox，Chrome等众多浏览器在爬虫中的应用主要是用来解决JS渲染的问题。1.使用前需要安装这个第三方库，CMD下：pip install selenium2.为你的测试浏览器下载驱动，我用的是Chrome，对应的去百度一下Chrome webdrive下载，并解压到python安装目录scripts下。开始使用..._pythonfrom selenium import webdriverdriver = webdriver.chrome()driver.get(

阿里云服务器 docker 安装 mysql nacos 与踩坑_阿里云安装nacos-程序员宅基地

文章浏览阅读2.5k次，点赞3次，收藏20次。阿里云服务器 docker 安装 mysql nacos 与踩坑一、安装dockerdocker 的使用文档 在 CentOS | 上安装 Docker 引擎Docker 文档1.卸载旧版本的docker（如果是新的服务器可以跳过） sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ _阿里云安装nacos

推荐文章

热门文章

相关标签