报告提出AI硬件推理性能指数IPI

一份报告提出了推理性能指数（IPI），用于比较AI硬件在智能体推理任务上的性能，其v1版本显示Nvidia GB300的性能约为H100的10倍。 该指数以GB300e为单位，通过评估芯片在特定输出速度范围内能同时处理的请求数量，来衡量数据中心乃至全球的推理总容量。IPI v1版本基于四种代表性模型，并聚焦于智能体工作负载。 报告指出，增加并发请求会降低单个请求的输出速度，但可能提升总体吞吐量约50%。同时，由于评分基于选定的模型组合，即使硬件不变，更换模型组合也可能改变芯片的IPI得分，因此硬件比较应使用相同IPI版本下的分数。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。