flux tools全家桶开源,your work ,your rules,开启AI绘画新纪元!

摘要:近日flux tools更新官方控制工具分别为flux fill(填充扩图),flux redux(生成图像变体)、flux depth 和flux canny图像深度控制和线条控制生成器相当于CN!这些工具让我们进一步更好的控制图像生成的条件,让AI生成的图

近日flux tools更新官方控制工具分别为flux fill(填充扩图),flux redux(生成图像变体)、flux depth 和flux canny图像深度控制和线条控制生成器相当于CN!这些工具让我们进一步更好的控制图像生成的条件,让AI生成的图像更区域商用或者为我们的工作去服务!

在黑森林工作室更新这四个工具的时候comfyui官网也更新了与之对应的工作流,让我们一起尝试学习探究相关工作流的搭建特点及原理!

confyui官方给出的工作流如下:

1.flux fill inpainting 图像修补工作流

我们在使用flux修补工作流之前需要下载flux fill dev 模型文件并将放置到ComfyUI/models/diffusion_models/ 文件夹中。

这里有两个主要的节点需要去识别记忆:

diffrential diffusion(差异扩散)这个节点在填充或者修补图像的时候能够微调修补部分与原图像区域确保原图像与生成的新图像趋于完美融合!

2.inpaint model conditoning(修补模型条件),也就是在使用条件去引导模型去修复遮罩或者指定部分,这里可以设定的条件有piexl\mask及正负条件!

这里的flux guidance引导系数不是通常的3.5而是30,看看给这个美女用遮罩换了个眼睛毫无违和感!以下是flux fill和之前修补模型的对比可以看到除了未开源的flux fill pro,flux fill dev版本修复效果已经遥遥领先了!

2.flux fill outpainting 图像外扩工作流

弄清楚了flux fill模型的原理,我们就知道如果拓展图像只需要在图像的周边制作遮罩这里我们用到的是pad image for out painting节点制作拓展遮罩!

其实inpainting 就是遮罩在图像内部,outpainting就是遮罩在图像外部flux fill的功能就是填充遮罩的模型!

3.flux redux 图像风格迁移

这个工作流就是在flux基础工作流加一个apple style model相当于ip adapter ,Clip Vision 使用 CLIP 模型来捕捉图像中的语义特征,并通过与文本之间的对比来实现图像内容的理解。简单说就是理解图像信息!

这个工作流中用的是custom sampler里面有一个model sampling flux这个节点的作用可以是根据分辨率自动调整位移,个人对这个节点的理解就是可以让模型生成不同分辨率的图!

也可以用make image batch这个节点将几个图片当作一个批次输入,综合不同的风格如上图,我测试这个图像提示词的权重很高基本上给什么图,出什么图,但听说还是会有高级用法在之后的文章再去更新!

4.flux depth 和 canny控制

flux depth和canny和之前的controlnet一样它是利用深度图和线条去引导模型根据文本生成图像的!

这个工作流有两个有两个一种是下载flux depth模型下载到diffusion model文件夹!一种是下载flux depth 到lora文件夹其中对应不同的工作流!

这里的用instruct pix to pix conditiong这个是用处理后的深度图和线稿图和提示词文本条件去引导图像生成的节点!利用这个工作流可以用于更改图像风格等效果!

关于更多flux tools的进阶应用会在后续持续更新,好了今天就到这里,感谢您的收看!明天继续!如果觉得我的文章对你有用欢迎三连,这将是对我最大的鼓励!

来源:科技蜜谈

相关推荐