Sigmoid 注意力理论基础. 该研究对 SigmoidAttn 进行了分析，分析的目的主要有两个：（1）证明当 SigmoidAttn 取代 SoftmaxAttn 时，Transformer 架构仍然是一个 ...