AWS 用 9.4 万次试验量化 harness 影响：token 用量差约 2 倍
AWS Strands Labs 10 月 12 日发布对约 94,000 次基准试验的分析：覆盖 8 个基准（ALFWorld、ContextBench、GAIA、LoCoMo、SWE-bench Pro、TAU-3-bench、Terminal-Bench 2.1、WebShop）、12 个模型、6 个 harness，做法是让不同 harness 驱动同一模型跑同一批任务，把「harness 选择」这一项的代价单独量出来。
结论有两层。第一层是差异之大：同一模型同一任务，token 用量可随 harness 差出约 2 倍。第二层是这 2 倍并不换来准确率——更高的 token 消耗并不稳定对应更高的准确率，作者的表述是「模型决定准确率上限，harness 决定你多快到达上限」。分组看，Anthropic 与 OpenAI 的比较里 Strands harness 估算成本最低、准确率最高；开源权重模型上它准确率第二、成本低于得分最高的 OpenCode。
对开发者的用处是机制而非排名：省下的主要来自上下文管理，尤其是把工具调用结果写进 JSON 文件而不是留在上下文里（tool offloading），避免工具调用期间上下文被撑满，这类取舍与具体模型无关、可以照搬。三点提醒：数据是厂商自测，快照取 9 月 17 日；同一 harness 的自报优势从早先公布的 28% 上修到 34%；harness 排名与基准版本强相关，过几周就会失效。
核验记录
官方博文 strandsagents.com/blog/we-ran-94000-trials-to-measure-the-cost-of-harness-choice/ 直读 200（138,789 字节），JSON-LD datePublished 2026-10-12T00:00:00Z + 页内可见 October 12, 2026 双证；正文自述快照取 2026-09-17（已写进正文与这里）。基准名与 12 模型 / 6 harness / 94,000 次试验、34% 成本优势均逐字取自正文（非二手转述）。配图同页 og（/blog/og/<slug>.png）在「直连/经代理 × 裸请求/带站内 Referer」四组合均 200、138,350 字节 PNG（R3/R45）。本轮为 feed 巡检发现（feed pubDate 10-12 08:00）。
← 上一篇Gemini 4 Argon 全面开放：全球开发者与付费订阅者可用，机器人物理推理 ERQA 87%下一篇 →LightOn 开源 ColGrep-Agent-2B：替编码智能体找文件，token 省约三分之一