R-KV则在模型解码时，边生成边压缩KV缓存，实时判断每个token的去留，通过重要性打分和冗余打分的综合评估，确保保留的信息丰富且多样。 在可视化对比中，R-KV展现出更广泛的语义覆盖和信息多样性，显著优于传统方法。

显存↓90%、吞吐↑6.6×、准确率=100% 10% KV Cache实现无损数学推理，这个开源方法解决推理大模型「记忆过载」难题-36氪 账号设置 我的关注 我的收藏 ...

r-kv开源登场： 显存↓90%、吞吐×6.6、准确率=100% 。 它可以通过实时对token进行排序，兼顾重要性和非冗余性，仅保留信息丰富且多样化的token，从而 ...

R-KV开源登场： 显存↓90%、吞吐×6.6、准确率=100% 。 它可以通过实时对token进行排序，兼顾重要性和非冗余性，仅保留信息丰富且多样化的token，从而解决大模型推理时的冗余问题。 让“长时间推理”不再是奢侈品。 项目详情可见文末链接。