ServiceNow 开源 AutoSynthData：用模型的失败生成训练任务，Gemma 的 Pass@1 提 7.2 个点
10 月 2 日，ServiceNow CoreAI 在 Hugging Face 官方博客发布 AutoSynthData。要解决的痛点很具体：企业里的模型整体能力不弱，但在自己那套系统上仍会做砸某类流程、误用某些工具组合、或踩到某条约束；而单次失败只是线索——要训练模型，需要大量「同一能力、不同情形」的新任务，且这些任务必须在环境里真的可完成、像真人会提的需求、并有可靠的判定方式。
做法是把合成数据生成当成一次围绕能力边界的搜索：用目标模型的失败与更强教师的成功共同决定下一步该学什么，生成并校验新任务；样本级检查驱动候选修补，批级复核反过来指导后续生成；随着模型变好，课程自动朝它仍吃力的方向移动。实验在公开的企业环境数据集 EnterpriseOps Gym 上做，覆盖 Hybrid 与 ITSM 两个域。
数字：Hybrid 域以 Gemma-4-26B-A4B-it 为学生、Qwen3.8-27B 为教师，约 18 小时生成 2,000 条训练样本，微调后最佳 checkpoint 是第 5 轮，mean Pass@1 提升 7.2 个百分点（相对 +35%），验证器成功率从 63.01% 升到 68.55%，补掉 Gemma 与参照模型之间 59% 的 Pass@1 差距；ITSM 域换成 DeepSeek-V4.1-Flash 当教师，生成 1,994 条样本，Pass@1 从 18.77% 提到 27.18%。它改变的是「企业环境里模型短板怎么变成训练集」这条链路：失败不再是评价结果，而是下一批任务的规格书。
原文链接：ServiceNow 官方 HF 博客
核验记录
HF 官方博客单篇直读（196,104 字节），HTML 内 datePublished 2026-10-02T04:01:31.290Z 与页内可见 Published October 2, 2026 一致；正文数字（7.2 个百分点 / 相对 35% / 63.01%→68.55% / 59% / 18.77%→27.18% / 2,000 条共约 18 小时 / 1,994 条共 66 小时）逐字取自该页；配图是该页 og:image（134,773 字节 PNG，裸请求与带站内 Referer 各一次均 200）。本轮未读随附数据集与代码仓。