MemT-1.0 把记忆做进模型里：128K 历史存储省 66 倍，两档权重开源

中国大模型原生记忆开源权重MemTensor · 2026-10-19 · 约2分钟 · 来源：arXiv / HF 模型卡

10 月 19 日挂出的论文《MemT-1.0: Towards Memory-Native Evolution》与同日开放的 Hugging Face 权重提出一种「记忆原生」架构：在主干注意力之外并上一个 Native Memory Block。它由两部分组成——Local Memory Block 维护跨交互步持续演化的多通道记忆矩阵；Hyper Memory Block 带可训练的记忆 query / key / value 投影，以及擦除、写入、遗忘与输出四组门。生成时记忆注意力读取当前记忆状态，归一化并门控后加回主干注意力的输出；每轮对话结束由一个稳定的 GDN-2 做 token 级记忆更新。

两个规格都开源：Nano 以 Qwen3.6-35B-A3B 为骨干，总参 36B、激活 3B，可训练记忆参数 4.51 亿、动态记忆状态 1000 万；Flash 以 DeepSeek-V4-Flash 为骨干，总参 288B、激活 17B，记忆参数 36.1 亿、记忆状态 3.36 亿。训练分骨干准备与两阶段（继续预训练加后训练），共用 34B token 数据；论文另提出 Mixture-of-Storage 用来扩展记忆容量，权重许可分别为 Apache-2.0（Nano）与 MIT（Flash）。

官方自己给了边界：在 11 个记忆基准上，两档在「参数化记忆」这一类方法里排第一与第二，但在需要细粒度证据检索的长历史任务上，文本记忆（检索式）系统仍然领先，通用能力大体保持。可核的系统指标是 128K 历史下 Nano 端到端推理提速约 1.86 倍、持久存储相对全上下文 KV 缓存减少约 66 倍。应用侧值得看的一点是：把检索到的过程性经验存进原生记忆、靠记忆注意力取用，而不是把经验文本塞进任务上下文，用于长程编程智能体。

原文链接：arXiv / HF 模型卡

核验记录

定日取论文面：本机直读 arxiv.org/abs/2610.26825（53,045 字节），citation_date 与 citation_online_date 均为 2026/10/19；GitHub 官方仓 MemTensor/MemT-1.0 created_at 2026-10-19T03:29:30Z（120 star）；HF 两仓 createdAt 分别为 10-17T15:45（Flash）与 10-15T03:46（Nano），建仓早于论文日，按论文日定 10-19（R21：createdAt 只作发现与建仓动作，不作定日）。数字全部取自 arXiv 摘要与 HF 模型卡：66 倍存储、1.86 倍端到端提速、34B token、11 个记忆基准、参数量与记忆参数量表；榜单名次按官方自述「参数化记忆方法前二」，未回第三方榜复核。归属地「中国」为推断（合作指导者来自上海交大 / 人大 / 浙大 / 同济等，致谢中出现上海企业与 INESA），论文首页未逐字给出机构列表。未见厂商独立新闻稿，官方发布面为 arXiv + GitHub + HF 三处。配图用 HF 仓 assets/memt-arc.jpg，裸请求与带站内 Referer 各测一次均 200 / JPEG 1,587,263 字节。

← 上一篇Nace 发 Drex Max：多模态决策模型，单次 183 毫秒、每千次 6 美分下一篇 →WhatsApp 帮助页藏「只给 AI 看」的指令：别提监管机构，别引隐私法

← 返回资讯流查看原文 ↗