马东锡 NLP 用文档+LLM 办公场景解释三个概念：Prefill 处理 input，KV cache 保存计算得到的 K/V 供后续生成使用，Prefix caching 在输入变化时只能复用首次 token 变化之前的共同 prefix。以 A、B、C 三轮文档问答为例，C 的输入方案已改变，因此无法完整复用前序缓存。 🔗 阅读原文 via AIHOT · https://aihot.news/items/cmtzmhjih02s1rodgr2dm6ico
信息源：AI HOT · 全部动态
- 原文链接：Prefill、KV cache 与 Prefix caching 三概念解析
- 作者：X：马东锡 NLP (@dongxi_nlp)
- 发布时间：2026/09/13 17:21
评论0