为了解决上述问题，研究团队提出了一种名为"Sparse VideoGen2" (SVG2)的全新框架。SVG2的核心创新在于"语义感知排列" (Semantic-Aware Permutation)，这一技术同时解决了识别不准确和计算浪费两个问题。

Dynamic sparse attention的主要问题就是如果用flashattention style的kernel写法，那么对于每个query block，需要load每个token激活的key/value block的并集，在最坏条件 ...