近日,阿里云通义万相团队推出全新的图像编辑模型ACE,只需说一句话就能生成图片和修改图片,可应用于风格化写真、分镜制作、室内设计等场景。该模型已面向全球开发者开源,其局部风格化功能已上线通义APP。
图像编辑是图像生成模型的重要辅助功能,此前业界常用的方案是将LoRA、ControlNets 和 T2I 模型组合,从而实现图像编辑能力。但该方案流程相对复杂,且使用门槛较高,大多用户无法直接体验。与传统图像编辑模型不同,ACE模型可同时支持文生图和图像编辑,用户输入口语化指令,可完成可控视觉编辑、元素编辑、区域重绘编辑、分层编辑等任务,仅用对话的方式就能实现PS的功能,例如输入文字即可一键除水印、修改证件照背景等,极大地提高了编辑效率。
上传一张照片即可对图中特定对象的风格化处理
公开论文显示,该团队提出了Long-context Condition Unit模块(LCU),能支持通用编辑任务所需的各种多模态条件输入,并且搭建了全面的编辑成对数据构造链路和指令集生成链路,最终达到精准、高质量的图像指令编辑效果。测试结果显示,ACE模型在MagicBrush的单轮/多轮编辑的多项指标和EMU Edit数据集的单轮编辑指标上都取得了领先成绩。
据悉,ACE模型在魔搭社区、Github、Huggingface等开源社区和社交平台引起了国内外开发者的热议,一度登上Huggingface周榜第二,总榜第五。同时,该模型局部风格化功能已正式上线通义APP,用户上传一张照片就能实现对图中特定对象的风格化处理。
ACE登上Huggingface周榜第二,总榜第五
通义万相算法团队表示:“未来将进一步提升ACE编辑模型的准确性,同时将逐步开放重绘、定制化生成、组合生成等能力,让用户更便捷地实现创意设计。” 目前通义万相已推出图像生成、图像编辑、视频生成等能力,累计生成超2亿张图片。
开源地址:
魔搭社区:https://www.modelscope.cn/models/iic/ACE-0.6B-1024px
Github:https://github.com/ali-vilab/ACE
Huggingface:https://huggingface.co/spaces/scepter-studio/ACE-Chat
4000520066 欢迎批评指正
All Rights Reserved 新浪公司 版权所有