在大语言模型（LLM）领域，推理效率是制约其实际应用的关键因素之一。谷歌 DeepMind 的 Gemini diffusion 曾以 1400 tokens / 秒 的生成速度震惊学界，展现了扩散模型在并行生成上的潜力。然而，开源扩散 LLM 却因 ...

1. 训练无关，即插即用。 dLLM-Cache完全在推理过程中工作，无需修改模型参数或重训练。dLLM-Cache可以在完全不损失模型输出质量的前提下，带来最高9.1倍的推理速度提升 。

在人工智能领域，扩散语言模型（dLLMs）正逐渐崭露头角，成为语言生成的新宠。然而，推理过程中的高计算成本一直是其发展的一大瓶颈。近日，上海交通大学的EPICLab团队提出了一种名为dLLM-Cache的创新解决方案，成功实现了推理速度的显著提升，最高可达9.1倍，且无损生成质量。

上海交通大学EPIC Lab团队提出了一种无需训练、即插即用的高效推理缓存机制：dLLM-Cache。 其核心思想在于，在一个多步去噪过程中，复用相邻时间步 ...

今天凌晨，首个商业级扩散大型语言模型（dLLM）来了！该模型名为 Mercury，其表现非常卓越，在英伟达 H100 上能以每秒超过 1000 token 的速度运行 ...

从补充材料上来看，dLLM貌似是通过semi-autoregressive这种non-autoregressive方式来输出内容，不过感觉还是有点怪，有比较了解的佬欢迎在评论区解惑一下 ...