AI 资讯聚合 · 智能体

LEGO-Anything:让编码智能体用一段 Blender 程序把单张照片重建成可编辑 3D 场景

海外智能体编码智能体3D 重建马里兰大学/AWS · 2026-09-28 · 约3分钟 · 来源:马里兰大学/AWS(arXiv 2609.36380)
LEGO-Anything:让编码智能体用一段 Blender 程序把单张照片重建成可编辑 3D 场景

马里兰大学与 AWS 的研究者发布 LEGO-Anything(arXiv 2609.36380,2026 年 9 月 28 日提交):不让模型直接输出三维资产,而是让编码智能体看一张 RGB 照片后写出一段可执行的 Blender 程序,再渲染、比对、迭代修改。产出因此是一个能打开、能改、能被查询的工程文件,而不是一堆几何数据——物体、几何、布局与相机位姿都显式写在代码里。官方称代码稍后放出(Code · Coming soon)。

配套的 LEGO-Bench 用 208 张图、104 个场景,覆盖 8 种环境、17 个主题与 443 个资产,室内外各一套难度分层(Easy ⊂ Medium ⊂ Hard),架构、相机与光照固定。评分分三项:有效性 V(能否产出可用的 Blender / GLB / 渲染图)、重建 R(可见表面 F1,容差为深度缩放的 5%,不做对齐或重缩放)、外观 A(评估渲染下每通道误差不超过 30/255 的像素比例),总分为三项的 V×(R+A)/2 均值,三次运行取标准差。

结果上,GPT-6-astra 在室内拿 53.4±0.8、室外 39.6±0.8,两项都第一;GPT-6-sol 为 32.3 / 24.2,GPT-6-luna 23.2 / 17.3,GPT-5.6-sol 14.8 / 15.3。有效性几乎都能拿满分(GPT-6-astra + Codex 为 100.0),说明「能不能产出一个合法场景」已经不是瓶颈。真正的短板有两处:几何与外观保真度,以及作者点名的自我评估——GPT-6-astra 约在预算的 10% 处就交出第一个可评估场景并持续改进,而 GPT-5.6-sol 起步更晚、回退更频繁,最终比它自己最好的一次低 3.2 分,即智能体分不清哪次修改是进步。

作者还挂了一个免训练插件 LEGO-Plugin(初始化、带依据的修改、版本控制),在 42 例的 Office 子集上让全部六个模型都有提升:GPT-5.6-luna +62.7%、GPT-5.6-terra +55.8%、GPT-5.6-sol +55.3%、GPT-6-luna +27.5%、GPT-6-sol +12.1%,而对已经很强的 GPT-6-astra 只 +2.1%。同页也写明这套方法不如专用视觉模型:COCO 检测 Box AP 30.14 对 DINO 的 59.88,LVIS 分割 Mask AP 14.75 对 Segment Anything 3 的 53.96——换来的价值是可编辑与可查询,不是精度的领先。

原文链接:马里兰大学/AWS(arXiv 2609.36380)

核验记录
发布日期取 arXiv 单页一手字段:citation_date 与 citation_online_date 均为 2026/09/28,页内可见 [Submitted on 28 Sep 2026](两处一致)。项目页 lego-anything.com 只写 SEPTEMBER 2026、无日期字段,故定日以 arXiv 为准。评分与基准规模均逐字取自项目页正文与结果表,非二手转述;the-decoder 10 月 3 日的报道为发现通道,不是定日依据。配图用项目页 og:image(123,404 字节 JPEG,裸请求与带站内 Referer 各一次均 200),项目页自带 Disclaimer「本站不是 AWS 官方网站」,已在正文写明作者单位为马里兰大学与 AWS。