跳到正文
NVIDIA · 开发者博客· Michelle Horton·· 2 小时前AI 评分30

ReplaySSM:重新思考状态存储以实现混合模型更快解码

ReplaySSM: Rethinking State Storage for Faster Hybrid-Model Decoding

AI 导读

NVIDIA 提出 ReplaySSM 技术,通过优化状态存储机制提升混合模型解码速度。该技术针对包含状态空间模型(SSM)层和少量注意力层的架构,如 NVIDIA Nemotron 3、Qwen3.5 至 Qwen3.8、Kimi-K3 和 GLM-5.3-Flash,实现更高效的推理过程。实验表明,该方法在多个基准测试中显著加快了解码速度,且兼容现有模型结构。

来源:NVIDIA · 开发者博客 · developer.nvidia.com