本文针对NVIDIA Blackwell FP4张量核心上注意力计算的新瓶颈,提出硬件感知的FP4 FlashAttention-4。据论文元数据,其Direct-P非因果路径在GB200上可比bfloat16(BF16)前向吞吐最高提升2.13倍,完整单GPU 8B参数更新最多加速1.14倍;但测试中的所有MXFP4概率/值训练轨迹均发散。具体细节待核实。
值得关注:将FlashAttention式优化推进到FP4张量核心场景,并识别出“矩阵尺寸变小后,softmax/片上依赖成为主要瓶颈”这一非直观问题。 与已有相关卡片(自动驾驶、3D场景理解、视频物理一致性)主题不同;本条新增…