在人工智能研究的最前沿，一项创新研究正在改变我们训练大语言模型（LLM）推理能力的方式。来自国立新加坡大学和上海英飞睿（INFLY ...

这项由北科（Beike）内部研究团队a-m-team在2025年5月发表于arXiv（arXiv:2505.14464v1）的研究探讨了一个有趣而重要的问题：在大语言模型的知识蒸馏过程中，"教师模型"的选择到底有多重要？就像在学校里，不同的老师教同一 ...

量子圈最近传来一个大消息，表面看是数学推导，其实背后是整个量子技术的关键突破。 事情的主角是日本理化学研究所的数学物理学家Bartosz Regula和阿姆斯特丹大学的Ludovico ...

如果把深层的神经网络看作一位经验丰富的主厨，那么知识蒸馏就像是这位主厨将自己的烹饪秘诀整理成一本精简的指南，传授给刚刚入行的年轻厨师。所谓知识蒸馏，就是一种模型压缩技术，通过“教师模型-学生模型”框架将复杂网络中的隐含知识迁移至轻量 ...

点击上方蓝字关注我们，不错过任何一篇干货文章！ 最近，很多芯片厂商都官宣了适配DeepSeek，在其中非常高频出现的一个词汇是“蒸馏模型”。而在DeepSeek的一些深度解析中，也提到了“蒸馏”这一概念。那么，“蒸馏”到底指的是什么？ 模型蒸馏技术的 ...

追光逐电，光引未来...欢迎来到今日光电！ 昨天，我们详细的介绍了模型蒸馏技术，DeepSeek的蒸馏技术更是这一领域的佼佼者，它不仅攻克了传统蒸馏的瓶颈，还在多模态数据处理等前沿领域取得了突破性进展。本文将深入剖析DeepSeek蒸馏技术的核心原理、创新 ...

DeepSeek蒸馏提炼违反OpenAI条款？ DeepSeek也被一些技术专家怀疑其模型可能从美国先进的模型中学习到了部分成果，即采用了所谓的“蒸馏技术”。

模型蒸馏是一种将知识从大型语言模型（LLMs）转移到较小模型的技术，旨在创建资源高效且性能卓越的模型。 然而，过度蒸馏可能会导致同质化 ...

最新综述论文探讨了知识蒸馏在持续学习中的应用，重点研究如何通过模仿旧模型的输出来减缓灾难性遗忘问题。通过在多个数据集上的实验，验证了知识蒸馏在巩固记忆方面的有效性，并指出结合数据回放和使用separated softmax损失函数可进一步提升其效果。

【新智元导读】最新综述论文探讨了知识蒸馏在持续学习中的应用，重点研究如何通过模仿旧模型的输出来减缓灾难性遗忘 ...

深度求索DeepSeek-V3模型在业界掀起波澜。据悉，该模型采用数据蒸馏技术，将复杂数据简化为高质量数据，提升了训练效果。然而，有学者指出 ...