本文主要是利用图片的形式，详细地介绍了经典的RNN、RNN几个重要变体，以及Seq2Seq模型、Attention机制。希望这篇文章能够提供一个全新的视角 ...

雷锋网按：本文为雷锋字幕组编译的技术博客，原文名 Understanding RNNs using the game of Chinese whispers ，作者 Eniola Alese。 循环神经网络（RNN）是人工神经 ...

当年Jürgen Schmidhuber那句“循环神经网络（RNN）是我们所需要的一切”，如今似乎又有了新的佐证。尽管Transformer模型已在自然语言处理领域占据主导 ...

Bengio团队推出minLSTM、minGRU挑战Transformer。 近日，深度学习三巨头之一的Yoshua Bengio，带领团队推出了全新的RNN架构，以大道至简的思想与Transformer一 ...

在实验中，实验室大鼠需要学习特定声音信号与端口灯光提示的关联，并理解这些线索不会立即触发水源释放。为获取水源，动物必须建立多重基础认知（如声音预示水源到来、需在视听提示后等待）并整合这些简单任务以达成目标。研究人员采用类似原理训练RNN执行博弈任务（ ...

RNN就是所需的全部吗？ Were RNNs All We Needed? 不仅论文的名字有意思，其结论更是精彩。 研究表明，精简十几年前的RNN们，性能上可以与最近序列模型 ...

新架构，再次向Transformer发起挑战！ 核心思想：将RNN中的隐藏状态换成可学习的模型。 甚至在测试时都可以学习，所以该方法称为TTT（Test-Time Training ...

近日，上海AILab与华南理工大学、香港科技大学（广州）、南京大学和香港中文大学的研究团队共同发布了一项名为Liger（狮虎兽）的重要研究成果。Liger是一种高效的线性化技术，能够将预训练的大语言模型（LLM）架构转化为带有门控循环结构的线性模型。该技术已被ICML 2025接收，并且相关代码和模型已全部开源。

近期研究揭示了不同架构选择之间的深层联系，包括 、RNN、SSM和matrix mixers，这一发现具有重要意义，因为它为不同架构间的思想迁移提供了可能。