跳到正文
热点事件持续更新

Polymathic AI等机构发布FlashMap流映射推测解码器

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Polymathic AI与普林斯顿大学等机构发布FlashMap,这是一种基于连续流映射的推测解码器,旨在加速大语言模型的推理过程。 该方法声称能在单次前向传播中生成16个token的块,并在Qwen3-8B模型上实现了最高6.14倍的无损加速。 模型权重已开源,并支持通过vLLM和SGLang插件进行部署。

AI 根据报道生成 · 55 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. MarkTechPost
    Polymathic AI与普林斯顿等机构发布FlashMap:基于流映射的LLM加速解码器

    Polymathic AI、普林斯顿大学等机构发布FlashMap,一种基于连续流映射的推测解码器,能在单次前向传播中生成16-token块,实现Qwen3-8B模型在GSM8K上最高6.14x无损加速。该方法通过联合建模块内token依赖,提升接受率,比DFlash更快且参数量更小。模型权重已开源至Hugging Face,支持vLLM和SGLang插件部署,代码和论文可从项目页获取。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。