NVIDIA 发 Dory 1.0-4B：循环层 4B 模型，同一权重靠循环次数换算力
NVIDIA 在官方 Hugging Face 组织的 Nemotron Labs 名下放出 Dory 1.0-4B：4B 参数，架构是「循环（looped，潜在递归）」的归一化 GPT。层堆栈分成输入、循环、输出三组（各 8 / 20 / 8 层），中间的共享块在一次前向里被反复调用，每轮都把输入重新注入。上下文支持到 256K token，许可是 OpenMDW-1.1，模型卡写明发布日为 10 月 16 日。
它的卖点是「弹性推理算力」：同一份权重靠改循环次数换准确率，不用重训、不用换模型。官方自测给出 1 / 2 / 4 次循环三档——SWE-bench Verified 50.3 / 59.5 / 61.8，Terminal-Bench 2.1 12.5 / 18.1 / 22.2，GPQA Diamond 69.19 / 72.41 / 72.16，IFBench 74.29 / 77.94 / 79；对照组里 Qwen3.5-4B 的 SWE-bench Verified 是 54.7、Terminal-Bench 2.1 是 15。官方建议默认从两次循环起步，因为大部分增益来自第二次。
两个工程细节值得记：循环式 LLM 通常要按循环数各存一份 KV cache、显存随循环数上涨，Dory 支持只保留最后一次循环的 KV cache，开启后不再因循环数增加显存；它已放出 BF16、MXFP8、NVFP4 与 Q5_K_M 四种格式，但 vLLM 的原生支持仍在 PR 审核中（vllm-project/vllm#60149），当前要按该 PR 安装才跑得起来。
原文链接：NVIDIA 官方模型卡
核验记录
日期取官方模型卡内的 Release Date 字段（October 16, 2026），与官方权重仓 createdAt 2026-10-16T18:25Z 同日。本机通路未找到 NVIDIA 单独公告页（developer.nvidia.com 站内搜 Dory 命中为无关文章、nvidianews 新闻室 0 命中），因此不声称「官方公告日」。成绩为 NVIDIA 自测、同一 harness（NeMo Gym / Evaluator SDK），官方注明 AA 系列分数是内部一致评测下的估计值、可能与 Artificial Analysis 官方分数有偏差，表内带 † 的为「已报告分数」。配图 cdn-thumbnails.huggingface.co 裸请求与带站内 Referer 各 200 / PNG 1200×648。
← 上一篇商务部拟增列 23 项 AI 技术出口管制：大模型、智能体、算力集群，开源与论文公开不纳入下一篇 →Reflection 放出 Beam 权重：501B 稀疏 MoE，Apache 2.0、1M 上下文