StartLux开源决策模型推理引擎Prism

AI创业公司StartLux开源了其自研的决策模型推理引擎Prism，该公司称其通过多项技术优化，在实测中可将推理速度最高提升5.3倍。 Prism专为决策模型优化，采用了压缩输出计算范围、森林式计算、整数运算和混排调度等技术。StartLux称，该引擎可在单张H200显卡上实现短问题推理提速2.8倍，连续三问提速5.3倍。 根据报道，Prism可在单块32GB显存的RTX 5090消费级显卡上运行。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。