OpenAI 给 GPT-6 换新提示缓存：30 分钟窗口内共享前缀最高打一折，并给开发者看命中率的面板

OpenAI 称 GPT-6 让持久运行的智能体可以连续工作数小时，从重构代码库到产出有据可查的报告；这些智能体背后会连发多个互相依赖的 API 请求，反复携带同一批指令、工具定义与前文上下文。OpenAI 缓存这部分共享上下文以跨请求复用计算，对缓存输入 token 给出最高 90% 的折扣。

随 GPT-6 系列上线的是一套新的提示缓存系统，默认命中率更高：符合条件的前缀在 30 分钟窗口内被复用即可享受折扣。同时新增 Prompt Caching Dashboard，展示输入中有多少由缓存供给、可按时间跟命中率并用输入构成图对比已缓存与未缓存 token；另有诊断工具，可把某次请求与近期响应对比，定位非预期的缓存未命中。

GitHub Copilot 产品负责人称，过去数月他们把需要新处理的提示 token 占比相对此前基线降低了 50% 以上，累计请求量达数十亿次，带来的结果是推理栈更省、开发者首字响应更快。

原文链接：OpenAI 官方页面