用 AI 算 KV 缓存：查询头有十六个，缓存也可能只按四组保存 本地模型的权重已经装得下，为什么对话变长后显存还会涨？原因之一是生成过程保存了过去位置的键和值。可以让AI按张量形状做一份容量预算，但先要确认该数查询头，还是实际存储的KV头。 yunqueblog/ AI分享/ 2026-10-02/ 3 阅读
yunqueblog