资讯

新浪网1 年
Attention机制竟有bug，Softmax是罪魁祸首，影响所有Transformer
总结而言，Evan Miller 引入了一种新函数 Quiet Attention，也叫 Softmax_1，这是对传统 softmax 函数的创新调整。 有网友对该博客总结出了一个「太长不看版 ...