Perceptron 发布 Mk1.5:给具身智能体的控制模型,新增原生音频与跨帧目标追踪

Perceptron 9 月 25 日发布 Mk1.5,把它定位为「控制具身智能体的一层智能」。相比上一代 Mk1,Mk1.5 新增原生音频输入、视频目标追踪、网页搜索、子智能体调用与更复杂的视觉推理;输入是文本、图像、视频与音频,输出不只是文本,还包括点、框、多边形、片段和带时间戳的目标轨迹。做法是把「追踪」直接训进模型——让它输出带时间的几何轨迹,而不是逐帧检测再在下游搭一套重识别流水线。公司称同一模型已部署在无人机、四足机器人、智能眼镜与手机上,无需针对平台单独重训。
数字全部来自厂商自测:四个视频目标分割基准中,Mk1.5 在 Molmo2-Track(HOTA 0.647,对比 MolmoPoint-8B 的 0.602)、Ref-DAVIS17 与 ReasonVOS 三项领先;第一人称视频里的手部定位比其测到的最强 Gemini 高 50%(手部框重叠 0.5435 对 0.4502),长视频问答的 egoSchema_hard 子集得 63.75,同期 Gemini 3.1 Pro 为 55.62;多模态搜索 LiveVQA-W 得 56.0,高于其自测的 Gemini 3.8 Flash 加搜索接地(53.2)。速度上,聊天请求端到端中位延迟从 Mk1 的 5.2 秒降到 1.1 秒(单用户),图片问答 1.7 秒到 0.51 秒,60 秒视频 8 路并发由 19 秒到 9.1 秒——口径是 1 张 H100、取 3 次中位数。
意义在方向而不在名次:主流多模态模型还在比「看懂」,这类模型比的是「看完之后发出什么控制信号」——把视频里的对象变成带时间戳的轨迹、把工具调用与子智能体编排做进同一次请求,是机器人、眼镜、无人机共用一层控制模型的前提。边界要写清楚:Perceptron 自己声明首次发布「不宣称处于音视频理解的前沿」(音频基准上也确实落后 Qwen3.5-Omni-Plus 与 Gemini 3.1 Pro),领先结论也全部建立在其自测口径上。
原文链接:Perceptron 官方博客