vLLM 官方博客· AMD and Embedded LLM·· 4 小时前精选AI 评分66
vLLM在AMD MI355X上优化Kimi K3：匹配NVIDIA B300每GPU吞吐并提升成本效益
Scaling Kimi K3 on AMD Instinct MI355X: Matching NVIDIA HGX B300 Throughput per GPU on AgentX
AI 导读
vLLM官方博客发布关于在AMD Instinct MI355X上优化Kimi K3模型的工程实践，通过缓存复用、MoE优化、内存操作融合、AITER汇编路径、KDA并行化和推测解码策略等手段，在AgentX基准下实现每GPU吞吐比NVIDIA HGX B300高24.4%，每美元成本产出提升87.4%。
推荐理由
原文详细拆解了在AMD MI355X上优化Kimi K3的多个工程策略，读者可据此理解如何在特定硬件上提升推理吞吐和成本效率。
来源：vLLM 官方博客 · vllm.ai