MarkTechPost· Asif Razzaq·· 3 小时前AI 评分50
Polymathic AI与普林斯顿等机构发布FlashMap:基于流映射的LLM加速解码器
Polymathic AI and Princeton Researchers Release FlashMap, a Flow Map Drafter for 6.14x Faster LLM Decoding
AI 导读
Polymathic AI、普林斯顿大学等机构发布FlashMap,一种基于连续流映射的推测解码器,能在单次前向传播中生成16-token块,实现Qwen3-8B模型在GSM8K上最高6.14x无损加速。该方法通过联合建模块内token依赖,提升接受率,比DFlash更快且参数量更小。模型权重已开源至Hugging Face,支持vLLM和SGLang插件部署,代码和论文可从项目页获取。
来源:MarkTechPost · marktechpost.com