Cloudflare 发 Clef-omni：决策模型首次直接吃音频与视频，纯文本中位 130 毫秒

Cloudflare 10 月 9 日发布 Clef-omni，把一周前开源的决策模型家族（Clef、Clef-flash）扩到全模态：一次 API 调用同时吃文本、图像、音频（wav/mp3）与视频（mp4/webm），不必先做语音转写、也不必把音频与画面拆成两条流水线。做法是在 Qwen3-Omni-30B-A3B-Instruct 这个混合专家底座上冻结骨干、只训低秩适配器，沿用上一次的标签平滑交叉熵加 Brier 校准；因为决策模型不生成文本，它跳过逐 token 解码，把各模态映射进同一序列后用两段注意力直接给候选取值打分。

官方给的速度是：纯文本决策中位约 130 毫秒、图像约 150 毫秒、音频几百毫秒，一段 21 秒带声视频约 1.5 秒出结果，全部在单次调用内完成。定价三档——Clef-omni 每百万输入 token 0.15 美元，Clef 维持 0.24 美元，Clef-flash 从 0.09 降到 0.038 美元；降价代价是托管版上下文从 64K 砍到 24K（权重未改，自托管仍支持 256K，官方称仅 0.24% 的请求超过 24K）。Clef 本身换到 SGLang 服务后中位延迟提速约 1.7–2 倍。

代价写在表里：Clef-omni 并非全面占优——BFCL case exact 98.2 低于 Clef 的 98.47 与 Clef-flash 的 98.76，家电场景 69.3 也远低于闪版的 97.73，换来的是新模态（When2Call 63.3、BANKING77 macro-F1 94.8）。全部对比均为厂商自测、无第三方复测。权重以 Apache 2.0 在 Hugging Face 放出。Cloudflare 自家已把它用在文档仓垃圾 issue 判定、插件库钓鱼审查、PII 扫描与恶意域名检测上。

原文链接：Cloudflare 官方博客