vLLM 官方博客· Ant Group and the vLLM Community·· 6 小时前精选AI 评分72
vLLM 官方发布 Humming：支持多设备和多量化格式的高性能推理内核库
Announcing Humming: Fast, Flexible Kernels for Quantized Inference
AI 导读
vLLM 官方发布 Humming，一个支持 NVIDIA GPU（Turing 及以上）和 T-Head Zhenwu 810E 的通用高性能量化推理内核库。
推荐理由
原文给出了量化推理内核的性能对比和部署方式，读者可以据此判断它在不同硬件和负载下的实际加速效果。
来源：vLLM 官方博客 · vllm.ai