Native Sparse Attention是一个高效实现原生稀疏注意力的Triton代码库,专注于在深度学习模型中优化注意力机制。通过硬件对齐优化和动态选择稀疏块,显著提升了性能,比FlashAttention更快,性能提升高达数倍。适用于需要高效处理稀疏数据的场景,并在AI创造营等项目中得到应用。