本文由加州大学伯克利分校的Chun-Hsiao Yeh领导，并于2025年7月与香港大学和Adobe大学的研究团队一起发表，在AI Image编辑领域带来了重大突破。该研究发表在顶级计算机视觉会议上，纸编号ARXIV:2507.05259V1。有兴趣深入了解的读者可以通过项目主页https://Danielchyeh.github.io/x-planner/访问完整的纸张和相关资源。

当您希望AI修改照片时，您可能会说“使这张照片看起来像日常必需品的冰淇淋季节”。对于人类而言，这意味着将照片变成夏季——蓝天，白云，绿草，也许增加野餐用品的样子。但是对于AI来说，这种间接而复杂的说明就像一个需要嘲笑的问题，经常会产生荒谬的结果，例如在图片中添加冰淇淋，而不是创造夏季的气氛。

研究小组发现，在处理这样的复杂说明时，现有的AI图像编辑工具有三个主要问题。第一个问题类似于“困难的小组分配分配” ——当您说“让所有动物都像庆祝圣诞节”时，AI需要识别图片中的每只动物并为其分别制定不同的编辑计划。可以将第二个问题与“多任务混乱——”进行比较，当指令包含多个不同的编辑要求，例如更改颜色，添加对象和修改背景，AI经常失去眼睛。第三个问题是“意图理解偏见” ——ai很难理解需要常识和文化背景的间接指示。

为了解决这些问题，研究团队开发了一种名为X-Planner的智能计划系统。这个系统就像经验丰富的翻新机长。当客户说“我想要一个温暖的家”时，船长会将这种模糊的需求分解为特定的工作任务：墙壁的颜色颜色要绘画，要放置哪种家具，使用哪种光线等。同样，X-Planner将复杂的编辑说明分解为一系列简单且清晰的子任务，每项都有详细的操作指南。

X-Planner的工作原理是基于一个可以理解文本和图像的多模式大语言模型。研究团队选择GLAMM作为基础架构，该基础架构最初具有基于描述的图像分割掩码的能力。但是，Glamm在处理复杂的编辑计划任务时表现不佳，例如只知道如何遵循这些步骤，缺乏灵活的思维和计划功能的助手。

为了使X-Planner更聪明，研究团队设计了一个完整的培训数据生成过程。这个过程分为三个层次，就像建造房屋需要首先奠定基础，然后建造墙壁，最后对其进行装饰。第一层是“指令配对生成”。研究团队使用GPT-4O来为大量图像生成复杂的说明和相应的简单分解说明。他们精心设计了不同类型的复杂说明模板，涵盖了各种情况，例如间接说明，多对象指令和多任务指令。

第二层是“精确定位生成”，这相当于为每个编辑任务创建准确的“构造图”。该系统使用接地的SAM技术为每个编辑对象生成分割面膜，就像使用照片上的其他彩色笔准确标记需要修改的区域一样。更聪明的是，系统将根据不同的编辑类型调整面具的大小和范围。 ——。如果是简单的颜色调整，则面膜将非常准确；如果是形状的变化，则面膜将稍微扩大到保留变形的空间。如果是全球风格的变化，则面具将覆盖整个图片。

第三层是“插入位置预测”，这是解决插入类编辑任务的关键创新。当您要求“在猫周围添加圣诞节装饰”时，传统方法只能识别猫的位置，但是由于原始图像中不存在装饰，因此无法预测应该放置装饰的位置。 X-Planner训练一个特殊的位置预测模型，让AI学会根据语言描述和图像内容来推断合理的插入位置，就像经验丰富的室内设计师可以使用专业直觉来判断应该放置房间家具的哪个角落。

数据集的构建过程反映了研究团队的细致性。他们不仅考虑说明的复杂性，而且还要确保编辑类型的平衡分布。在数据集中，插入最大比例的类编辑帐户，这反映了用户需要在实际应用程序中为图像添加新元素。同时，它们还包括相当一部分简单的简单命令配对，以确保X-Planner在处理已经简单的命令时不会添加丝毫命令。

X-Planner的另一个创新是其模块化设计。整个系统分为两个主要组件：指令分解模块和控制引导产生模块。指令分解模块负责理解复杂的指令并将其分解为简单的子任务，每个子任务都用编辑类型和目标对象明确标记。控制引导产生模块根据分解说明生成准确的分割掩码和边界框，从而为后续图像编辑提供准确的空间指导。

这种设计为X型组合提供了良好的多功能性。它不是独立的图像编辑器，而是与各种现有图像编辑模型一起使用的智能编辑计划助手。无论是UltraeDit，ConstructPix2Pix还是其他专业编辑工具，您都可以收到X-Planner提供的分解说明和控制信息，从而获得更准确，更可控制的编辑效果。

在实际应用中，X-Planner工作流程非常直观。用户输入复杂的编辑指令后，系统首先分析说明内容和图像功能，然后使用链条思考推理将复杂的任务分解为多个简单的步骤。对于每个步骤，系统将自动生成相应的拆分掩码以指示编辑区域。如果是插入类任务，系统还将预测适当的边界框，以指示新对象的放置。最后，系统根据每个子任务的类型选择最合适的编辑模型以执行特定操作。

为了验证X-Planner的效果，研究团队设计了一个全面的评估实验。他们不仅在传统的简单指令基准Magicbrush上验证了系统的基本功能，而且还构建了新的复杂指令评估基准Compie-eval，以专门测试复杂的指令处理能力。评估指标不仅包括传统的图像质量指标，还包括基于大语言模型的智能评估方法，以更好地反映系统对复杂指令的理解和执行。

实验结果令人兴奋。在MagicBrush基准测试中，X-Planner通过提供精确的控制信息来提高编辑质量。更重要的是，X型平板在复杂的指导评估中显示出显着的优势。与直接使用复杂说明的基线方法相比，X-Planner通过指令分解和精确控制大大提高了与用户意图的匹配程度，同时更好地维持原始图像的完整性而无需修改。

用户研究的结果进一步证实了X-Planner的实际价值。在比较评估中，用户更喜欢在三个维度上使用X-Planner的编辑结果：指令对准，身份保留和整体质量。这表明，X型平台不仅在技术指标中表现出色，而且在实际用户体验中得到了认可。

特别值得一提的是，研究团队还探索了使用开源模型来构建培训数据的可能性。他们使用Pixtral-Large（一种开源大型语言模型）来再生培训数据，并培训了相应的X-Planner版本。实验结果表明，开源版本的性能与使用GPT-4O生成数据的版本相媲美，该版本为其他研究人员和开发人员提供了更容易访问的技术路径。

研究团队还考虑了多步编辑中错误传播的问题。他们提出了基于大语言模型的验证和误差校正机制，该模型在完成每个编辑步骤后自动评估结果的质量，如果发现问题，将自动重新生成，从而避免影响后续操作的早期错误的链反应。

X-Planner的技术创新也反映在其对不同编辑类型的细致处理中。对于颜色和纹理修改，系统将生成一个靠近目标对象的掩码。对于更换操作，系统将适当扩展掩模范围，以适应新对象的可能大小更改；对于全球样式转换，系统将选择一个全图面膜。这种类型感知的控制策略可确保每个编辑操作都可以获得最佳的执行条件。

在边界框预测方面，X-Planner表现出令人印象深刻的一致性和合理性。通过执行相同插入指令的多次，该系统可以提供适度的变化，同时保持位置合理性，避免过度机械化的重复。这种平衡反映了执行类似任务时人类的灵活性和创造力。

从技术架构的角度来看，X-Planner巧妙地结合了大型语言模型的语言理解能力和计算机视觉的空间感知能力。通过精心设计的培训策略，该系统学会了将抽象的语言描述转换为具体的视觉操作说明。这种跨模式转换能力是实现复杂图像编辑的关键。

毕竟，X-Planner代表了AI图像编辑领域的进度重要方向。它不仅仅是开发更强大的编辑模型，还通过智能计划和任务分解，从而允许现有的编辑工具满足更复杂和自然的用户需求。这种“分裂和征服”策略不仅改善了编辑效果，还为用户提供了更直观，更方便的交互方式。

最终，这项研究解决了一个实用而重要的问题：如何使AI了解人类自然和复杂的图像编辑需求。随着AI技术在日常生活中的普及，可以理解和执行复杂说明的智能系统将变得越来越重要。 X-Planner的成功为这个方向提供了有效的解决方案和技术框架。

对于普通用户而言，X-Planner意味着图像编辑将变得更简单，更直观。将来，您只需要描述自然语言所需的效果，而AI可以准确地理解和执行它，而不再需要学习复杂的编辑软件或提供精确的技术参数。这将大大降低创造性表达的门槛，并允许更多的人轻松实现他们的图像创造思想。

研究小组已公开发表了相关的代码和数据集，该代码和数据集为学术界和行业的进一步发展奠定了基础。可以预见的是，基于X-Planner的想法，将来会出现更多可以处理复杂多模式说明的AI系统，这不仅限于图像编辑，而且还可以扩展到更广泛的创意应用领域，例如视频制作和3D建模。有兴趣的读者可以通过Paper Project HomePage https://Danielchyeh.github.io/x-planner/获取详细的技术信息和实施代码。

质量检查

Q1：什么是X-Planner？它可以做什么？答：X-Planner是加州大学伯克利分校开发的AI图像编辑和计划系统。它的核心功能是将复杂的图像编辑说明分解为简单的子任务，并自动生成精确的编辑控制信息，从而使AI理解和执行自然语言指令，例如“使此图像看起来像夏季”。