vLLM 在 AMD MI355X 上优化 Kimi K3 模型性能
热点事件持续更新
vLLM 在 AMD MI355X 上优化 Kimi K3 模型性能
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
vLLM 官方博客称，通过一系列优化，使 Kimi K3 模型在 AMD Instinct MI355X 系统上的推理性能在特定基准下超越了 NVIDIA HGX B300。 vLLM 表示，在 AgentX 基准测试中，一个八 GPU 的 AMD MI355X 系统运行 Kimi K3，其每 GPU 每秒生成的总 token 数比 NVIDIA HGX B300 高出 24.4%，每美元成本产出提升 87.4%。
AI 根据报道生成 · 1 小时前更新
最新进展10月16日 08:00
vLLM在AMD MI355X上优化Kimi K3：匹配NVIDIA B300每GPU吞吐并提升成本效益报道时间线
沿着报道，了解事件的不同侧面。
10月16日
- vLLM 官方博客精选vLLM在AMD MI355X上优化Kimi K3：匹配NVIDIA B300每GPU吞吐并提升成本效益
vLLM官方博客发布关于在AMD Instinct MI355X上优化Kimi K3模型的工程实践，通过缓存复用、MoE优化、内存操作融合、AITER汇编路径、KDA并行化和推测解码策略等手段，在AgentX基准下实现每GPU吞吐比NVIDIA HGX B300高24.4%，每美元成本产出提升87.4%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。