【编者按】摩尔线程科研团队发布研究成果《Round Attention：以轮次块稀疏性开辟多轮对话优化新范式》，该方法端到端延迟低于现在主流的Flash Attention推理引擎，kv-cache 显存占用节省55%到82% 。