Liquid AI 发 LFM3:六个 2B 模型共用一条 1.7B 骨干,权重开放

Liquid AI 发布 LFM3,把「一条骨干、多个模态」做成了产品线:首发六个约 2B 参数的模型全部从同一个 LFM3-1.7B-Base 分叉,分别是文本、视觉、音频、omni 四个输入模态模型,以及在视觉与 omni 之上特化出的两个决策模型。基座与后训练权重当天开放,许可为 LFM1.0(不是 Apache)。官方的论点是端侧不必跑一个通用大模型,按用途挑一个小模型微调、就地部署更划算。
架构上它从 LFM2 的「短卷积 + 注意力」升级为三混合:24 层里 13 层是门控短卷积(卷积核从 3 提到 7)、5 层是 256 token 窗口的滑窗注意力、6 层是全局注意力;全局注意力层只对每个头的高频一半做旋转位置编码。预训练 22T token,最后 3.5T 是 mid-training,混入更多 agentic 轨迹与工具调用,上下文扩到 256K。支撑这套设计的硬件在环搜索从 LFM2 的「一台手机 + 一台笔记本」扩到 14 种设备与后端组合,含手机、树莓派 5、M4 Max、Ryzen AI、Arm 与 x86 云 CPU、GPU 与 Hexagon NPU。
数字都来自模型卡的同表对比(发布方自测,无第三方复跑):LFM3-1.7B 对前代 LFM2.5-2.6B,LiveClaw 45.60 对 14.70、SWE-bench Verified 43.40 对 18.00、BFCL V4 71.39 对 55.89、WebArena-Verified 38.42 对 3.02;对更大的 Qwen3.5-9B 则是互有胜负(BrowseComp-Plus 37.00 对 38.00、SWE-bench 43.40 对 51.20),所以「反超 9B」只成立于部分 agentic 基准。工程侧的硬指标是体积:4-bit 下文本模型约 1GB,每个模型都能在单张 GPU 上微调。
原文链接:Liquid AI 官方博客