AI 资讯聚合 · 开源生态

Neuphonic 开源 NeuDecide:43MB 语音直出工具调用,单核 CPU 46 毫秒

海外开源生态决策模型语音Neuphonic · 2026-10-08 · 约2分钟 · 来源:Neuphonic 官方博客 / GitHub
Neuphonic 开源 NeuDecide:43MB 语音直出工具调用,单核 CPU 46 毫秒

10 月 8 日,伦敦语音 AI 公司 Neuphonic 以 Apache 2.0 开源 NeuDecide,一个把语音直接变成工具调用的端侧小模型:输入是音频加上一份用 JSON schema 描述的工具清单,输出是选中的函数与填好的参数,中间不做语音转写。官方把它定位成「音频优先的决策模型」——不是聊天模型,参数 约 6,000 万,权重合计 42.7MB,推理由三段 ONNX 图串起来:一次编码语音(28.7M 参数)、一次把音频隐状态与工具 token 编码成跨注意力键值(11.8M)、再逐 token 解出调用(15.0M,带 KV 缓存)。因为工具清单是推理时传入的,换能力只需换 JSON、不必重训。

官方给的核心数字:在 SLURP 的「只选工具」任务、十个候选中,NeuDecide 准确率 72.4%,而英伟达 Parakeet 加谷歌 FunctionGemma 的两步流水线是 24.4%、Cactus 的 Whistle 加 Needle 是 20.7%。延迟与占用:MacBook Pro M3 上单核 46 毫秒、三星 S24+ 82 毫秒、树莓派 5 206 毫秒,峰值内存 146–174MB,加载均在半秒内;限制是 30 秒音频、1,536 个工具 token、128 个输出 token,16kHz 采样。

官方同时给出了短板与下一步:目前只支持英文、单轮,尚无置信度输出,因此应用侧没法自动判断何时该升级给大模型;路线图是流式推理、语法约束解码与置信头,并称最难的数据集(如 SNIPS)上参数填写的准确率仍需提高。权重放在 Hugging Face,另有 PyPI 包与浏览器 WASM 演示;目标场景是医院、银行、工厂、政府这类不能把语音传到外部 API 的环境。

原文链接:Neuphonic 官方博客 / GitHub

核验记录
一手页 neuphonic.com/blog/neudecide 经本机代理直读 200 / 1,584,961 字节,页内两处日期同指 2026-10-08:可见文本 `Oct 8, 2026` 与 3 处 `08/10/2026`(该页无 JSON-LD datePublished)。另有两条独立时间戳:GitHub 仓 neuphonic/neudecide created 2026-10-01T09:25:01Z(40 star,Apache-2.0)、HF 权重仓 neuphonic/neudecide createdAt 2026-10-06T09:17:34Z、PyPI neudecide 0.1.0a1 —— 权重先上、公告 10-08,本站按官方公告日计。40.7 / 72.4% / 24.4% / 20.7% / 46–206 毫秒 / 146–174MB / 42.7MB / 约 60M 参数逐项取自官方博客与其仓库 README,均为厂商自测、无第三方复测。⚠ 本机未直读 HF 模型卡正文(README 接口回 401 Unauthorized,属该仓权限设置,不代表权重不可下载)。配图取官方页 og:image(framerusercontent.com,裸请求与带站内 Referer 各一次均 200、JPEG 64,886 字节)。