Beyond FLOP/s: 比较 AI 硬件推理性能的内存与通信因素

一份报告提出了一种新的推理性能指数（IPI），用于衡量 AI 硬件在处理智能体推理任务时的性能，Nvidia GB300 在该指数下表现约为 H100 的 10 倍。IPI 版本 1 基于四种代表性模型，以 GB300e 为单位进行评分，GB300 默认得分为 1。报告还分析了并发请求与输出速度之间的权衡，指出增加并发请求会降低单个请求的输出速度，但总体吞吐量可能提升约 50%。