Princeton 研究员提出 RLT：解码器状态跨 token 传递，推理深度随序列增长不封顶

普林斯顿研究员 Yifan Zhang 于 9 月 12 日发布技术报告 Recurrent Looped Transformer（RLT，9/15 更新）：提出让解码器的最终隐状态连同逐层滑窗注意力（SWA）缓存跨 token 传递——包括跨 prompt 与生成文本的边界——每个 token 的计算块数固定（参考配置 48 编码层+48 解码层=96 个逻辑块），但状态路径的结构深度随序列长度增长（t 个 token 后为 48t 块），不再有固定架构深度上限。

报告同时给出硬件与 RL 两条协同设计：编码器可并行、按序列批处理；预训练/SFT/采样/当前策略重放共用同一状态转移，重放时用当前参数重建状态而非复用过期激活。诚实边界：这是一份架构与执行规范，报告明确不含任何基准结果、吞吐或与训练基线的对比——推理质量、效率、RL 扩展均属待验证目标，仓库内仅有的小型合成实验（约 7.9 万参数状态跟踪任务）只是概念验证。

原文链接：Yifan Zhang 项目页