新智元报道 编辑：KingHZ 桃子【新智元导读】最近，华为在MoE训练系统方面，给出了MoE训练算子和内存优化新方案：三大核心算子全面提速，系统吞吐再提20%，Selective ...

具体来说，华为首先构建了名为DeployMind的仿真平台，它是一个基于昇腾硬件训练系统的“数字孪生”平台，通过计算/通信/内存三维度的多层级建模、昇腾硬件系统的高精度映射、全局化算法加速运行等技术，能在1小时内模拟百万次训练场景，实现MoE模型多样 ...

随着大模型的迅猛发展，混合专家（MoE）模型凭借其独特的架构优势，成为扩展模型能力的重要方向。MoE通过创新性的路由机制，动态地将输入token分配给不同的专家网络，不仅高效实现了模型参数的规模化扩展，更在处理复杂任务时展现出显著优势。然而，将MoE ...

机器之心发布机器之心编辑部Pangu Ultra MoE 是一个全流程在昇腾 NPU 上训练的准万亿 MoE 模型，此前发布了英文技术报告[1]。最近华为盘古团队发布了 Pangu Ultra MoE ...

近日，华为在MoE模型训练领域再进一步，重磅推出参数规模高达7180亿的全新模型——盘古Ultra MoE，这是一个全流程在昇腾AI计算平台上训练的准万亿MoE模型。华为同时发布盘古Ultra ...

当前，混合专家模型（Mixture of Experts, MoE）在大型语言模型中的兴起，使得以较小的计算开销换取更大能力成为可能。然而，传统 MoE 普遍存在专家激活频次高度不均衡现象，当专家并行部署于不同硬件设备时，易引发系统效率瓶颈。

“华为不只是「官宣」一下而已，后面更会是全面开源。” 文/李希 从2017年Google提出Transformer——这一人工智能中最常用的神经网络架构，到DeepSeek ...

｜2025年6月3日 星期二｜ NO.1 华为推出参数规模7180亿全新模型 据“深圳新闻网”6月2日消息，近日，华为在MoE（混合专家模型）训练领域再进一步，推出参数规模高达7180亿的全新模型——盘古Ultra ...

华为近期宣布了一项在人工智能领域的重大进展，通过其创新的“昇腾 + Pangu Ultra MoE”系统，成功实现了近万亿参数的大规模稀疏模型（MoE）的高效训练。这一壮举尤为引人注目之处在于，整个训练过程在没有依赖传统GPU加速的情况下完成，彰显了华为在自主可控算力及模型训练技术上的深厚积累。

作为国内首个混合推理模型，其不仅重新定义了开源大模型的技术边界，更以2350亿参数的MoE架构刷新了国产模型性能天花板。以下从技术架构、性能 ...

随着全球科技界的目光聚焦于即将召开的WWDC 2025，苹果公司的重大变革计划悄然浮出水面。据彭博社知名记者Mark ...