IBM 不改权重：把试错蒸馏成规则本，GPT-4.1 登顶 τ²-bench 零售

IBM Research 10 月 20 日在 Hugging Face 博客公布 ALTK-Evolve：不给模型加新权重，而是让它在训练任务上反复试错，把成功与失败蒸馏成一串短的行为规则，再作为 markdown 清单追加到系统提示里。规则是具体的操作纪律，例如「任何改单动作前先认证用户」「一步只做一个动作，不要在调用工具的同时回复用户」「两次查不到用户就说明需要的格式」。规则提取和干活用的是同一个模型，不需要人工标注。

效果落在 τ²-bench 客服任务上：用 GPT-4.1 这个非推理的老模型，零售域 Pass^4 从 57.5% 升到 67.5%，单次准确率从 78.1% 升到 82.5%；航空域 Pass^4 从 35.0% 升到 45.0%。Pass^4 要求同一任务四次独立尝试全部通过，比单次准确率更接近「能不能放心交给它」。IBM 称按 2026 年 10 月 12 日的榜单快照，这一成绩高于所有零售条目，且用的是 τ²-bench 自带的 ReAct 脚手架，除提示里的规则本外没有别的改动。

代价也写清了：规则本要跟着每次调用走，零售域 292 条规则的提示把每条对话成本从约 0.084 美元推到 0.139 美元（+65%），换来对话轮次略减（10.59 → 10.16）。另一个发现是规则不是越多越好——航空域只保留 14 条高支持度规则的紧凑版，Pass^4 45% 反而高于全量版的 40%。

原文链接：IBM Research / HF 博客