智东西· 王 涵·· 5 小时前精选AI 评分58
StartLux开源首个决策模型推理引擎Prism,推理速度最高提升5.3倍
DeepSeek之后,StartLux再来:开源首个决策模型推理引擎,推理快至5.3倍
AI 导读
StartLux原点星辉开源其自研推理引擎Prism,专为决策模型优化,实测在单张H200显卡上处理短问题提速2.8倍,连续三问提速5.3倍。Prism通过压缩输出计算范围、森林式计算、整数运算和混排调度等技术,提升推理效率,同时保持高精度。
推荐理由
原文给出了专为决策模型优化的推理引擎Prism的性能数据和设计思路,读者可以据此判断其在特定场景下的工程价值。
来源:智东西 · zhidx.com