vLLM 官方博客· Inferact and Recursive·· 19 小时前AI 评分47
vLLM 从 Day-0 支持 Recursive 的 Flint 模型
Day-0 Support for Flint on vLLM
AI 导读
vLLM 从 Day-0 支持 Recursive 的 Flint 模型，其 NVFP4 和 BF16 检查点可在单个 GPU 上运行，单请求在 GB200 上解码速度约 500 tokens/s，支持上下文长度达 262K tokens。
来源：vLLM 官方博客 · vllm.ai