亚马逊 ALoDLM:8B 反超同尺寸 Qwen3
亚马逊公开 ALoDLM(Adaptively Looped Diffusion Language Models)论文与两个权重:ALoDLM-1.7B 与 ALoDLM-8B,分别初始化自 Qwen3 同尺寸底座,代码在 amazon-science/ALoDLM,权重许可 CC-BY-NC-4.0(非商用)。它要解的是扩散语言模型(DLM)长期的质量差——并行预测多个 token 很快,但同尺寸下一直打不过自回归模型。ALoDLM 的答案是「按难度分配算力」:已确定的 token 先提交、给剩余位置当上下文,未确定的 token 保留隐状态、在共享层上多走几遍循环,由预测置信度决定何时提交、由学到的停机策略决定何时结束循环。
论文 Table 1 的 11 项基准(OpenCompass 口径)给出的结果是:ALoDLM-8B 均分 80.3,高于同尺寸自回归基线 Qwen3-8B 的 78.5,也高于扩散路线对照 SDAR-8B 74.2 与 WeDLM-8B 75.1;1.7B 档均分 65.5,同样高于 Qwen3-1.7B 的 63.8。分项上 8B 的 GSM8K 94.2、HumanEval 87.8、MMLU-Pro 63.9、GPQA-Diamond 49.5。意义:并行解码第一次在同参数规模上把质量这一项翻过自回归——不是「更快换更差」,而是更快且不更差(论文另给一条 GSM8K 准确率对吞吐的曲线,用其优化推理引擎在单张 B200 上测)。
核验记录
arXiv export API 直读:ALoDLM 首版与本次更新时间均为 2026-10-03T01:20:31Z(arXiv:2610.04198),据此定日;HF 模型卡 README 全文 13,448 字符直读 200,数字逐字取自其 Evaluation 段文本表(8B 均分 80.3、Qwen3-8B 78.5、MLLU-Pro 63.9、GSM8K 94.2、HumanEval 87.8、1.7B 65.5 对 63.8)。两个权重仓 createdAt 2026-10-02T18:46Z(相距 29 秒)、GitHub amazon-science/ALoDLM created 2026-10-02T23:10Z、pushed 2026-10-06T01:02Z。未见厂商新闻稿(amazon.science 博客列表最新条目 10-01,页内未含此篇,命中 0)——本条按 R21 第③层(仓库时间戳)+论文正式提交日定日,不写成官方公告日。配图 HF 缩略图裸请求与带站内 Referer 双 200(PNG 1200×648)。