Walter Fan's Blog

LLM 的 KV Cache：一个时间戳，能让你的账单比不开缓存还贵

KV Cache 不是一个"顺手能省点钱"的技巧，而是一条硬约束：它规定了你的提示词必须怎么排版。前缀不稳，缓存全废；更糟的是，如果你开了缓存又让前缀每轮都变，按价目表算，账单会比压根不开缓存还高 25%。本文讲清 KV Cache 的原理、命中规则、省钱之外的收益、可落地的最佳实践和常见陷阱。