Polymathic AI等机构发布FlashMap流映射推测解码器
热点事件持续更新
Polymathic AI等机构发布FlashMap流映射推测解码器
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Polymathic AI与普林斯顿大学等机构发布FlashMap,这是一种基于连续流映射的推测解码器,旨在加速大语言模型的推理过程。 该方法声称能在单次前向传播中生成16个token的块,并在Qwen3-8B模型上实现了最高6.14倍的无损加速。 模型权重已开源,并支持通过vLLM和SGLang插件进行部署。
AI 根据报道生成 · 55 分钟前更新
最新进展10月28日 16:18
Polymathic AI与普林斯顿等机构发布FlashMap:基于流映射的LLM加速解码器报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- MarkTechPostPolymathic AI与普林斯顿等机构发布FlashMap:基于流映射的LLM加速解码器
Polymathic AI、普林斯顿大学等机构发布FlashMap,一种基于连续流映射的推测解码器,能在单次前向传播中生成16-token块,实现Qwen3-8B模型在GSM8K上最高6.14x无损加速。该方法通过联合建模块内token依赖,提升接受率,比DFlash更快且参数量更小。模型权重已开源至Hugging Face,支持vLLM和SGLang插件部署,代码和论文可从项目页获取。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。