Hugging Face · 每日论文·· 1 天前AI 评分42
FLAMIA: FLAsh MIcroscaling Attention for Fast and Causally Safe Training on Blackwell
FLAMIA: FLAsh MIcroscaling Attention for Fast and Causally Safe Training on Blackwell
AI 导读
FLAMIA 是一组针对 NVIDIA Blackwell GPU 的注意力内核，支持 MXFP8 和混合 NVFP4/FP8 训练路径，通过减少量化开销和防止因果信息泄露实现高效训练。在 B200 和 B300 上，MXFP8 路径相比最快基线分别加速了 1.10–1.40 倍和 1.06–1.42 倍。该方法已在预训练 Llama 风格模型中验证了训练稳定性和质量保持。
来源：Hugging Face · 每日论文 · huggingface.co