NaiveAI 开源 309B MoE 模型 Naive-N0.5-Flash：原生 1M 上下文，48 层不留一个全注意力层
NaiveAI 放出开放权重模型 Naive-N0.5-Flash：309B 参数的稠密专家混合（MoE），每 token 激活 15.5B，原生 1M token 上下文，权重按 MIT 许可发布，约 315 GB 分成 49 个 safetensors 分片，需要支持 FP8 的 NVIDIA 卡。它最不寻常的地方是注意力：48 层里 39 层用滑动窗口注意力（窗口只有 128 token），另外 9 层用 DeepSeek 稀疏注意力（每步从历史里选 top-2048 token 参与骨干计算），全网络没有任何一层是全注意力，官方把这种 5:1 的 SWA–DSA 组合当成百万级上下文下压低解码开销的主要手段。
底座是小米的 MiMo-V2.5，稀疏注意力来自 DeepSeek 的 DSA，NaiveAI 自己在模型卡里点名致谢。这家实验室对外讲的故事是「让 AI 造 AI」：模型自己写代码、跑实验、看结果并迭代，人来定方向与验收标准，官方称这套 R&D 系统每周要跑近一千万个沙箱、峰值并发 10 万个。配套推理栈 NaiveRT 用大核融合、程序化依赖启动（PDL）与推测解码，标准模式约 50 token/s/用户，另有最高 2,000 token/s 的 Ultrafast 档。
官方对比图里（自报、未经第三方复核），Naive-N0.5-Flash 在 Terminal-Bench 2.1 得 86.7、DeepSWE v1.1 得 67.8，两项都在第一梯队但没有超过榜首；另一张 AI R&D 图覆盖 MLE-bench-30、PaperBench、SOL-ExecBench、NanoChat AutoResearch 等六项。需要写明的是：模型卡与官方研究页都没有 arXiv 链接，也没有第三方复现记录，全部成绩来自厂商自己的图表与评测口径。