线性注意力，作为一种更具可行性的解决方案使用核化特征映射替换 q,k 点积中的 Softmax 操作，有效地将时间和空间复杂度从 O (N²d) 降低到 O (Nd²)。

Katharopoulos等人提出了一种创新性的解决方案，他们通过将softmax指数函数重写为特征映射φ(x)的点积形式的核函数，并利用矩阵乘法的结合律，成功将 ...

Vanilla softmax 将始终释出相同的总权重；softmax_1 看起来大部分相同，但在负象限中有一个「逃出口」（escape hatch）。 需要明确的是，这里的核心问题 ...

在 softmax 注意力中引入非线性重加权机制可以聚集注意力权重的分布，因而稳定训练过程。 研究者还通过实证发现，这种做法可以惩罚远距离连接 ...