Agent

2 篇文章

prompt caching 省下的不是网络往返，而是 prefill 阶段的算力。本文讲清 KV cache 从哪来、前缀哈希为什么要求逐 token 一致、TTL 为什么必须存在，以及缓存写入为什么会比不缓存更贵。

提示缓存失效几乎不报错——推理成功、日志干净、只有账单变贵。本文按出现频率拆四类元凶：前缀混进易变内容、序列化顺序抖动、工具顺序不稳、中间层静默吞掉缓存标记，并给出一个跨厂商的命中率自检脚本。