斯坦福牵头团队梳理 300 篇论文,为计算机图形学中的大模型智能体建立分类体系
一篇 14 位作者的综述为智能体图形学划出四个维度,并指出强化学习方面的关键空白

来自斯坦福大学、得克萨斯大学奥斯汀分校、加州大学伯克利分校、西蒙菲莎大学和剑桥大学的 14 位研究人员,发表了一篇全面的综述,为「智能体计算机图形学」这门新兴学科下了定义。所谓智能体计算机图形学,是指由大语言模型智能体编写、运行并反复修改图形代码,生成二维图像、三维场景和基于物理的模拟的系统。
这篇发布在 arXiv 上的综述论文于 2026 年 11 月 1 日上线,回顾了 300 多篇论文,并提出一个四维分类体系,围绕四个问题来组织这个领域:智能体图形系统被要求做什么、依赖什么模型、模型外面搭了怎样的框架、它又如何与图形软件和 API 交互。
一个正在成形的领域
这套分类体系用四个维度来刻画任何智能体计算机图形系统。「需求描述」维度说的是输入:自然语言提示、参考图像、场景图、物理约束,或它们的组合。「基础模型」维度涵盖底层的 AI 模型:处理图像理解任务的视觉语言模型、生成代码的大语言模型,或专门的领域模型。「运行框架」维度对应智能体框架:检索增强流水线、多智能体编排循环、工具调用脚手架和自我纠错机制。「图形接口与工具」维度关注智能体如何与专业软件环境交互,比如 Blender、图形 API 或物理模拟引擎。
作者认为,把这四个维度放在一起,就能系统地给任何现有或未来的系统在智能体计算机图形学的版图上定位,也能看出哪些组合已被充分探索、哪些基本还没人试过。
从二维到物理模拟
综述涵盖三大应用领域。在二维图形方面,智能体的评估任务包括版式生成、矢量插画、纹理合成和风格一致的图像编辑。在三维场景生成方面,挑战涉及物体摆放、场景构图、材质分配和多视角下的一致表示。物理模拟又多了一层时间维度的推理:智能体生成的代码不仅要画面连贯,还要产生符合物理规律的行为。
作者用现有的基准来支撑这篇综述。BlenderGym在 CVPR 2025 上发表,提供 245 组手工制作的任务对,覆盖 Blender 中五类三维编辑操作,是评估当前视觉语言模型处理专业三维工作流程能力的主要参照。4DCodeBench是 2026 年 10 月推出的较新基准,把评估扩展到动态三维场景,要求智能体生成的代码能正确处理随时间的变化,包括物体的移动、形变和模拟。
当前模型的短板
综述对模型能力的分析在三个应用领域里都发现了同一个规律:当前的视觉语言模型很难完成需要理解物体在三维空间中相互关系的空间推理任务。
2026 年早些时候一项关于视觉语言模型空间推理局限的研究发现,主要用二维图文对训练的模型,在被要求推理深度、遮挡或三维布局时,常常无法保持连贯的空间关系。这一局限直接限制了它们在三维图形任务上的用处。
最近有一个系统VIGA(Vision-as-Inverse-Graphics Agent,视觉即逆向图形智能体)就是专门为弥补这个缺口设计的。VIGA 把图形生成当作一个逆向图形问题来处理,采用闭环架构:智能体渲染中间结果,再根据视觉反馈纠正所生成代码中的错误。作者报告,它在 BlenderGym 基准上比先前的基线提升了 35.32%,不过这个数字来自 VIGA 团队自己的评估,还没有经过独立复现。
强化学习的空白
综述最尖锐的观察与强化学习有关。作者发现,基于强化学习的后训练已经大幅提升了通用语言模型的推理能力,但几乎没有工作把这种方法专门用在图形领域。综述把这一点列为核心的开放问题:如果没有从渲染质量、物理有效性或几何精度中得出的领域专用奖励信号,基础模型就学不会专业图形工作所要求的那种精细的迭代纠错能力。
作者指出,这不只是数据问题。即使有大量图形代码可用,标准的监督微调也教不会模型去推理渲染结果为什么不对,或者如何有章法地修正。按照综述的说法,针对可验证的图形输出进行奖励驱动的训练,会是一种性质不同的学习信号,而这个领域还没有投入力量去构建它。
开放问题
综述最后列出了这个领域的若干开放问题。文献中的评估方法并不统一,许多系统在自定义或私有的基准上报告结果,彼此无法直接比较。图形场景中的幻觉也缺乏清晰刻画:智能体会信心十足地写出渲染出错误几何或违背物理的行为的代码,这和语言幻觉的表现不同,也还没有被系统研究过。
作者还提出,对于那些原本不是为程序化控制而设计的专业软件环境,智能体图形系统该如何应对。目前的大多数工作要么把智能体限制在能用 Python 脚本控制的接口上,要么依靠截图反馈,这两种做法都大大限制了智能体能可靠完成的任务范围。
这篇综述是一次系统性的尝试,要给一个发展迅速但缺乏规范的研究领域厘清定义。通过提出一套共同的术语、梳理现有工作的版图,作者希望给这个领域一个共同的参照系,用来判断哪些已经做出来了、还缺什么,以及下一代智能体图形系统需要做到什么。
论文《Advances in Agentic Computer Graphics》已在 arXiv 上发布。



