在人工智能领域，OpenAI的最新融资活动无疑是近期备受瞩目的焦点。此轮融资总额高达 400亿美元 ，创下科技史上融资规模的新纪录，超越了2018年蚂蚁集团的 140亿美元 融资。这一事件不仅标志着OpenAI在AI产业中的举足轻重地位，也引发了对人工智能技术未来发展的深入思考。无疑， 技术革新 与 突破 将是推动这一行业不断前行的重要动力。

事实上，由于注意力至少需要将 QK^T 部分实体化（通常是非常大的整数，非常大的整数），这几乎肯定会溢出二级缓存（这要么迫使你在内存中计算的速度慢于 OOM，要么迫使你通过将 QK^T 矩阵分片为部分关联块并传入 softmax 来将其转化为顺序问题）。