本文介绍了一种名为「嫁接」的技术，用于在小计算预算下通过编辑预训练 Diffusion Transformers（简称 DiTs）来探索新的模型架构设计。这种方法允许研究者在不从头开始训练模型的情况下，通过替换模型中的某些算子（如 ...

该工作第一作者为蚂蚁技术研究院副研究员胡翔，蚂蚁技术研究院高级研究员武威为通讯作者。在大语言模型如火如荼的当下，长文本建模仍然是一个极具挑战的问题。纠其根源，一方面在于主流 LLMs 的架构 Transformers ...

大数据文摘受权转载自数据派THU 作者：Fareed Khan 翻译：赵鉴开 校对：赵茹萱 Transformer架构可能看起来很恐怖，您也可能在YouTube或博客中看到了各种 ...

在人工智能和深度学习领域，模型架构的设计一直是一个关键因素。近期，斯坦福大学的李飞飞团队和LiquidAI等机构的研究者们提出了一种名为“嫁接”的新技术，旨在通过编辑预训练的Diffusion ...