键-查询卷积有两种方式，一种是在softmax之前进行卷积，另一种是在softmax之后。 在softmax之前卷积，能更好地融合不同查询和键的信息。 在softmax之后 ...

键 - 查询卷积（key-query convolution） 对于 pre-softmax 卷积，MTA 在注意力 logit 上进行了一个卷积操作，并结合来自多个查询和键 token 的信息： 键和查询 ...