LEGO-Anything:让编码智能体用一段 Blender 程序把单张照片重建成可编辑 3D 场景

马里兰大学与 AWS 的研究者发布 LEGO-Anything(arXiv 2609.36380,2026 年 9 月 28 日提交):不让模型直接输出三维资产,而是让编码智能体看一张 RGB 照片后写出一段可执行的 Blender 程序,再渲染、比对、迭代修改。产出因此是一个能打开、能改、能被查询的工程文件,而不是一堆几何数据——物体、几何、布局与相机位姿都显式写在代码里。官方称代码稍后放出(Code · Coming soon)。
配套的 LEGO-Bench 用 208 张图、104 个场景,覆盖 8 种环境、17 个主题与 443 个资产,室内外各一套难度分层(Easy ⊂ Medium ⊂ Hard),架构、相机与光照固定。评分分三项:有效性 V(能否产出可用的 Blender / GLB / 渲染图)、重建 R(可见表面 F1,容差为深度缩放的 5%,不做对齐或重缩放)、外观 A(评估渲染下每通道误差不超过 30/255 的像素比例),总分为三项的 V×(R+A)/2 均值,三次运行取标准差。
结果上,GPT-6-astra 在室内拿 53.4±0.8、室外 39.6±0.8,两项都第一;GPT-6-sol 为 32.3 / 24.2,GPT-6-luna 23.2 / 17.3,GPT-5.6-sol 14.8 / 15.3。有效性几乎都能拿满分(GPT-6-astra + Codex 为 100.0),说明「能不能产出一个合法场景」已经不是瓶颈。真正的短板有两处:几何与外观保真度,以及作者点名的自我评估——GPT-6-astra 约在预算的 10% 处就交出第一个可评估场景并持续改进,而 GPT-5.6-sol 起步更晚、回退更频繁,最终比它自己最好的一次低 3.2 分,即智能体分不清哪次修改是进步。
作者还挂了一个免训练插件 LEGO-Plugin(初始化、带依据的修改、版本控制),在 42 例的 Office 子集上让全部六个模型都有提升:GPT-5.6-luna +62.7%、GPT-5.6-terra +55.8%、GPT-5.6-sol +55.3%、GPT-6-luna +27.5%、GPT-6-sol +12.1%,而对已经很强的 GPT-6-astra 只 +2.1%。同页也写明这套方法不如专用视觉模型:COCO 检测 Box AP 30.14 对 DINO 的 59.88,LVIS 分割 Mask AP 14.75 对 Segment Anything 3 的 53.96——换来的价值是可编辑与可查询,不是精度的领先。