在自然语言处理 (NLP)领域，谷歌的BERT模型曾在多个任务中夺冠，其成功归功于Transformer架构的辉煌表现。最初，Transformer是为机器翻译任务而生，凭借其出色的性能使得训练速度大幅提升，成为了现今AI模型的重要基石。

Transformer模型源于论文《Attention is All You Need》，如今已成为谷歌云TPU的推荐参考模型。该论文相关的TensorFlow代码可以在GitHub上找到，哈佛的NLP团队也成功实现了一个基于PyTorch的版本，并进行了详细注释。为了让普通读者能够轻松理解，我们将对Transformer进行简化分析。

编辑：编辑部 ZYJ 【新智元导读】Transformer架构迎来历史性突破！刚刚，何恺明LeCun、清华姚班刘壮联手，用9行代码砍掉了Transformer「标配」归一化层，创造了性能不减反增的奇迹。

原始"Attention Is All You Need"论文中提出的标准Transformer架构最初设计用于处理离散输入和输出序列标记 ...

传统自动驾驶系统依赖单车传感器，易受遮挡或极端天气影响，导致感知与预测能力受限。CMP 通过多车协同感知与预测的深度融合，打破单车信息孤岛，实现 “全局视野” 与 “动态推理” 的双重突破： ...

来自Meta AI的华人科学家刘壮团队，联合AI大神何恺明， 图灵奖得住Yann LeCun等大牛搞了个大新闻——他们的最新论文证明了：Transformer ...

如何通过五个简单步骤，打造出属于你的“超级学霸”AI？这篇文章将为你揭示大模型训练的全攻略，助你轻松掌握核心技术，开启AI创新之旅。 大模型训练就是先让 AI 掌握海量知识，再通过 “超级大脑” ...

梦晨 克雷西 发自 凹非寺量子位 | 公众号 QbitAI 何恺明LeCun联手：Transformer不要归一化了，论文已入选CVPR2025。 归一化长期以来一直被认为是必不可少的，在现代神经网络中无处不在。 但团队认为可以换用一种非常简单的技术 ...

机器之心报道机器之心编辑部何恺明又双叒叕发新作了，这次还是与图灵奖得主 Yann LeCun 合作。这项研究的主题是没有归一化层的 Transformer（Transformers without Normalization），并已被 CVPR ...

在这项研究中，研究人员用到了多个关键技术方法。首先是多视图图像采集技术，通过从不同角度拍摄棉花植株，获取丰富的图像信息。然后利用运动恢复结构（Structure from Motion，SfM）技术进行 3D 重建，构建出棉花植株的点云数据集。在点云处理方面，引入 Transformer 注意力模块到 PointNet++ 模型中，形成 TPointNetPlus 网络进行语义分割，最后使用 ...

在近日召开的英伟达 GTC 的一个小组讨论会上，谷歌 DeepMind 高级研究科学家、RT-2 作者 Pete Florence 以 Generalist AI 联合创始人兼首席执行官的身份出席。