在人工智能技术飞速发展的浪潮中，Transformer 模型自 2017 年由谷歌团队推出后，便以颠覆性的创新，在自然语言处理尤其是机器翻译领域掀起变革风暴，成为推动行业发展的核心力量。

随着大语言模型 (LLM) 的出现，扩展 Transformer 架构已被视为彻底改变现有 AI 格局并在众多不同任务中取得最佳性能的有利途径。因此，无论是在工业界还是学术界，探索如何扩展 Transformer 模型日益成为一种趋势。

在信息如潮水般涌来的时代，人们对快速、精准获取信息的需求愈发迫切，问答系统作为人工智能的重要分支，肩负着理解用户意图并提供准确反馈的重任。随着深度学习技术的蓬勃发展，基于 Transformer ...

都 2024 年，还有人不了解 Transformer 工作原理吗？快来试一试这个交互式工具吧。 2017 年，谷歌在论文《Attention is all you need》中提出了 Transformer ...

传统的大语言模型微调（Supervised Fine-tuning，简称SFT）主要关注如何通过优化模型参数来降低生成损失，但往往忽略了模型在学习过程中产生的丰富信号。研究团队提出的核心创新是引入"错误日志"（Mistake ...

【导读】研究人员对基于Transformer的Re-ID研究进行了全面回顾和深入分析，将现有工作分类为图像/视频Re-ID、数据/标注受限的Re ...

【导读】研究人员对基于Transformer的Re-ID研究进行了全面回顾和深入分析，将现有工作分类为图像/视频Re-ID、数据/标注受限的Re ...

在过去的一两年中，Transformer 架构不断面临来自新兴架构的挑战。 在众多非 Transformer 架构中，Mamba 无疑是声量较大且后续发展较好的一个。然而 ...

研究者实证了DGM修改自身代码的能力确实能加速其学习过程（见下图），而不具备递归式自我改进功能的对照版本（图中的DGM w/o Self-improve）表现明显较差。 这种分支结构正是DGM开放式探索策略的结果：它从此前生成的多样化智能体中采样，作为新改动的起点。这一机制让DGM能够同时探索多条进化路径。

在过去几年，Transformer 架构主导了生成式人工智能的发展，并推动了 ChatGPT 等大型语言模型的成功。然而，随着模型规模的不断扩张，这一技术逐渐 ...

Sohu芯片的最大突破在于它直接将Transformer架构嵌入芯片内部。据Etched公司负责人Uberti透露，Sohu采用了台积电的先进4纳米工艺制造，不仅在推理性能 ...

但现在，行业已经转向——视觉Transformer（Vision Transformer，ViT）现已被公认为在很多计算机视觉任务中表现更优。ViT能理解全局信息，具备抗干扰能力，并能处理复杂场景，已经成为视觉AI的新标配。sUMednc 现在大家已不再讨论“ViT是否会取代CNN”。它们已经完成 ...