大数据文摘受权转载自数据派THU 作者：Fareed Khan 翻译：赵鉴开 校对：赵茹萱 Transformer架构可能看起来很恐怖，您也可能在YouTube或博客中看到了各种 ...

2022年，我们打赌说transformer会统治世界。 我们花了两年时间打造Sohu，这是世界上第一个用于transformer（ChatGPT中的“T”）的专用芯片。 但对于transformer来说，Sohu是有史以来最快的芯片。 借助Llama 70B每秒超过50万个token的吞吐量，Sohu可以让您构建在GPU上无法实现的 ...

【导读】研究人员对基于Transformer的Re-ID研究进行了全面回顾和深入分析，将现有工作分类为图像/视频Re-ID、数据/标注受限的Re ...

在本教程中，我们在相对较小的数据集上从头开始训练，但原理保持不变。通过遵循这些步骤，您将能够实现并训练一个用于花卉图像分类的视觉Transformer模型，深入了解现代深度学习技术在计算机视觉中的应用。 近年来，Transformer 架构彻底改变了自然语言处理 ...

【新智元导读】就在刚刚，MIT系初创公司Liquid AI推出液体基础模型LFM，1B模型在基准测试中成为SOTA，这是非GPT架构首次显著超越Transformer模型！背后 ...

Falcon Mamba 7B有什么特别之处？ TII开源全球第一个通用的大型Mamba架构模型Falcon Mamba 7B，性能与Transformer架构模型相媲美，在多个基准测试上的均分 ...

【新智元导读】Mamba模型由于匹敌Transformer的巨大潜力，在推出半年多的时间内引起了巨大关注。但在大规模预训练的场景下，这两个架构还未有「一较高低」的机会。最近，英伟达、CMU、普林斯顿等机构联合发表的实证研究论文填补了这个空白。 去年12 ...

本文来自微信公众号：Afunby的 AI Lab（ID：AI_Lab_of_Afunby），原标题《图解 transformer——逐层介绍》，作者：Afunby，题图来自：视觉中国 为了深入理解每个组件的作用，在翻译任务中step-by-step地训练Transformer。使用只有一个样本的训练数据，其中包括一个输入序列 ...

本文来自微信公众号：Afunby的 AI Lab（ID：AI_Lab_of_Afunby），原标题《图解Transformer：功能概览》，作者：Ketan Doshi，翻译&整理：Afunby，题图来自：视觉中国 随着大型语言模型如 ChatGPT 的横空出世，我们进入了自然语言处理（NLP）的一个新纪元。在这个纪元中 ...

自从最新的大型语言模型的发布，例如 OpenAI 的 GPT 系列、开源模型 Bloom 以及谷歌发布的 LaMDA 等，Transformer 模型已经展现出了其巨大的潜力，并成为深度学习领域的前沿架构楷模。 Hello folks，我是 Luga，今天我们来聊一下人工智能(AI)生态领域相关的技术 ...

原文标题：《Transformer 全新里程碑！诞生 6 年，开山之作被引近 8 万，没夺下 NeurIPS 最佳论文，却彻底改变 AI 界》 Transformer，6 岁了！2017 年，Attention is All You Need 奠基之作问世，至今被引数近 8 万。这个王者架构还能继续打多久？ 2017 年 6 月 12 日，Attention is All ...

工程上（或者叫代码上）98%都是相同的。 2%的不同，体现在训练的数据结构上和data_collator部分。 之前也一直想好好写一写transformers包的data_collator部分，这个部分，给很多人的感觉：“不就是数据填充么”，其实没那么简单。他做了不少东西： 比如mlm、clm的实现。