神级模型 In-Context LoRA 爆火!10种场景精准出图!

摘要:阿里通义实验室在月初推出的一个新开源项目 In-Context(上下文) LoRA 最近越来越火了,因为大家发现它实在太好用了,无论是保持人物/场景一致性,还是进行服装、风格、logo、字体样式、页面版式的学习迁移,效果都非常不错,一下就解决了很多大家之前头疼

大家好,我是花生~

阿里通义实验室在月初推出的一个新开源项目 In-Context(上下文) LoRA 最近越来越火了,因为大家发现它实在太好用了,无论是保持人物/场景一致性,还是进行服装、风格、logo、字体样式、页面版式的学习迁移,效果都非常不错,一下就解决了很多大家之前头疼的问题。

目前 In-Context LoRA 已经在摄影、电商设计、样机制作、头像生成等方面有了落地应用,极大满足了大家对精准控制出图的需求,那今天我们就一起来看看 In-Context LoRA (以下简称 IC LoRA)究竟有哪些神奇之处。

IC LoRA 是基于 Flux 训练的,用法也和普通的 Flux Lora 一样。它最大的特点是可以在图像生成时,稳定保持不同图像之间的关联性和一致性,就如有了理解记忆能力一样。根据这个特性,研发团队训练出 10 种不同的模型,分别应对不同的场景,它们主要可以分为以下几个方面。

1. 人物/场景一致性

IC LoRA 可以很好地保持人物、场景在不同图像中的一致性,而且仅需提示词就能实现,因此它很适合生成故事分镜或者同一人物的系列照片。同时,它也可以生成包含「写实」和「卡通」两种风格的图像,并且使两个风格的角色特征、服装穿搭仍保持一致。

2. 风格一致性

通过提示词,IC LoRA 可以一次性生成多张视觉风格一致的图像,这用来生成室内设计概念图、情侣头像等内容时非常方便。

3. 样式迁移

IC LoRA 是基于 Flux 训练的,因此在文本、图形的迁移学习上也有很好的表现,可以生成同一风格样式的字体和页面版式,还支持将现有的 VI 元素,比如 Logo、插画等,完美复刻到新图像中,让样机展示变成一件无比轻松的事情。

除了文本直接生成,IC LoRA 也支持通过已有图像生成具有一致性的新图像,比如根据 3 张图像生成同一人物的新图像、将真人照片转为相似的卡通图像、根据现有 Logo 生成它的样机展示图等。这样的方式比以往训练 LoRA 要方便快捷很多。

10 个模型下载: https://huggingface.co/ali-vilab/In-Context-LoRA (文末有资源包内)

应用场景展示: https://github.com/ali-vilab/In-Context-LoRA

IC LoRA 官方目前开源了 10 个模型,每个模型对应不同的使用场景。

不过它们的使用方法和普通的 Flux Lora 是一样的:在基础的 Flux D 文生图流程上,加入一个 load lora 节点加载对应模型就行,下图是一个标准的工作流示例(文件在文末资源包内)。你可以一次性下载 10 个模型,也可以只下载自己需要的那几个,然后将模型安装到 ComfyUI 根目录的 lora 文件夹中,

需要注意的是,不同 lora 模型的提示词写法和推荐图像尺寸各有不同,具体内容官方在 github 上有给出示例。大家在使用前一定要查看,将对应参数信息都修改好了之后再生成,否则会影响出图效果。

官方目前只给出了文生图的工作流,开源社区则已经衍生出多个图生图的落地应用案例,包括换装、样机、情侣头像、电商场景、角色故事分镜、四格漫画等,Github 中都有集中收录,每一个都附带了对应的工作流/模型/插件链接,大家可以选择自己喜欢的类型进行尝试。

Glif 上有一个基于 IC LoRA 的小工具 Any Image Anywhere,可以免费生成任何 logo 的样机图。注册登录后只需上传你的 Logo 图像,然后描述样机场景,比如 “on a packaging design agency studio wall (在包装设计机构工作室的墙上)”,就能一秒得到一个相当不错的样机展示图。

那么以上就是本期对热门模型 In-Context LoRA 的相关介绍,网上还有很多大神都分享了它的免费使用教程,想深入了解的小伙伴可以自行学习。另外该模型目前是基于 Flux Dev 生态的,属于不可商用,大家需要注意版权。

来源:梦想精通设计

相关推荐