FLAMIA 注意力内核在 Blackwell GPU 上实现高效训练
热点事件持续更新
FLAMIA 注意力内核在 Blackwell GPU 上实现高效训练
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Hugging Face 发布了一组名为 FLAMIA 的注意力内核，旨在优化 NVIDIA Blackwell GPU 上的训练效率。该内核支持 MXFP8 和混合 NVFP4/FP8 训练路径，通过在 B200 和 B300 GPU 上减少量化开销并防止因果信息泄露，实现了相比最快基线 1.06 至 1.42 倍的加速。开发者称，该方法已在预训练的 Llama 风格模型中验证了训练稳定性和模型质量。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- Hugging Face · 每日论文FLAMIA: FLAsh MIcroscaling Attention for Fast and Causally Safe Training on Blackwell
FLAMIA 是一组针对 NVIDIA Blackwell GPU 的注意力内核，支持 MXFP8 和混合 NVFP4/FP8 训练路径，通过减少量化开销和防止因果信息泄露实现高效训练。在 B200 和 B300 上，MXFP8 路径相比最快基线分别加速了 1.10–1.40 倍和 1.06–1.42 倍。该方法已在预训练 Llama 风格模型中验证了训练稳定性和质量保持。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。