介绍Bedrock上OpenAI模型的提示缓存模式

Claudio Mazzoni在AWS ML博客撰文介绍，在Amazon Bedrock上为OpenAI模型配置提示缓存时，可把共享工具和指令放在稳定前缀，并用隐式或显式缓存边界复用对话历史，他称这能降低输入成本，GPT-6 Astra六轮示例中隐式缓存比不缓存降低约62%输入成本，显式滚动断点降低约61%。 该文还覆盖新增工具、子智能体和跨会话复用，但缓存前缀需至少1024 tokens才生效，缓存至少有30分钟有效期并可因复用刷新，写入缓存费用为正常输入费率的1.25倍，且复用需相同模型、AWS账户和区域。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。