OpenAI 改进 GPT-6 提示缓存：显式断点 + 缓存诊断，复用窗口定为 30 分钟

9 月 22 日，OpenAI 在官方博客介绍 GPT-6 家族的新提示缓存系统。背景是 GPT-6 上的长效智能体常连续跑数小时，一串 API 请求反复携带同样的指令、工具定义与上下文；缓存这些共享前缀可省下重复计算，官方称缓存输入 token 的折扣最高到 90%，并为 30 分钟内复用的合规共享前缀计发折扣。

这次新增的是「看得见」和「控得住」两件工具。Prompt Caching Dashboard 按时间显示命中率，并用输入构成图对比缓存与未缓存 token；prompt caching 诊断工具在未命中时给出结构化原因（示例 reason 为 tools_changed）并附上受影响的 token 数 5,629。显式缓存断点让开发者自行指定要复用的前缀；GPT-6 上还能在对话中追加 configuration_update 调整推理强度，同时保持请求级 reasoning effort 不变，从而不打破已缓存的前缀。

博客另给两条实用做法：工具与指令变化时保持工具定义、schema 与顺序稳定，用 allowed_tools 限制可调用工具、用新的 developer message 追加指令，而不是改动早期内容；以及预热缓存（prewarm），在用户提问前先把已知上下文准备好。GitHub Copilot 在官方引语里称，过去几个月把需要重新处理的 prompt token 占比降了 50% 以上；另一家客户称缓存诊断让成本再降 20%。

它改变了什么：长时智能体的成本从「每轮重算」转向「一次写入、多次读取」，缓存从黑盒变成可监控、可诊断、可干预的系统组件。边界：本条读的是官方博客正文与官方 API 文档，未实测各参数在自有账号下的计费表现。

原文链接：OpenAI 官方博客