Overview
产品概述
MagicQuill（当前已发布 V2）是一个面向实际图像编辑场景的智能交互式系统，旨在帮助用户快速实现创意。系统提供简洁但功能完整的界面，用户可以用少量笔触表达编辑需求（如插入元素、擦除对象、改变颜色等）；交互过程由多模态大语言模型实时监测，以预测用户意图并自动生成相应提示，省去手动输入。最终，系统借助 Diffusion 先验和经过学习的两分支插件模块完成精确受控的编辑。页面还展示了添加、擦除、改色三类魔法笔刷，并支持画布上传、撤销重做、笔触变换等工具。该项目发表于 CVPR 2025，参与者来自 HKUST、蚂蚁集团、浙江大学和香港大学等机构。
Capabilities
核心能力
友好的用户界面与 AI 建议
MagicQuill 提供简洁易用且功能完整的界面，并具备 AI 驱动的编辑建议能力，支持精确的局部编辑。
三种魔法笔刷
提供添加、擦除、颜色三种笔刷：添加笔刷可在提示引导下补充细节与元素；擦除笔刷可移除多余内容或重绘区域；颜色笔刷可按照笔刷颜色对图像精准着色。
免提示词的意图预测
多模态大语言模型实时监测用户的笔触操作，预测用户的创作意图并自动填写提示词，省去手动输入提示的步骤。
扩散模型精细控制
结合扩散先验与经过学习的双分支插件模块，并支持精细边缘控制等高级参数，实现对编辑请求的精准控制。
Use Cases
适用场景
-
01
真实照片局部编辑
可在自然图像中进行插入元素、擦除对象、改变颜色等局部编辑操作，实现“图像中的魔法修改”。
-
02
创意组合玩法
组合添加与擦除笔刷可快速制作趣味视觉效果，例如为蒙娜丽莎添加宠物猫或为人物更换领带。
-
03
随手涂鸦与智能补全
用户随手涂鸦后，系统会快速猜测想要绘制的内容并补全提示词；猜错时用户也可以手动修正。
Integrations
集成能力
Hugging Face
提供在线演示（Hugging Face demo）。
ModelScope
提供在线演示（ModelScope demo）。
