跳到正文
MarkTechPost· Michal Sutter·· 2 天前AI 评分55

Prime Intellect 推出 Prime Inference 推理服务平台

Prime Intellect Launches Prime Inference: Serverless and Reserved Serving for Frontier Open Models

AI 导读

Prime Intellect 推出了 Prime Inference,一个为前沿开源模型提供无服务器端点和预留容量服务的推理平台。该平台基于 NVIDIA Dynamo、vLLM、Mooncake 和 FlashInfer 等技术栈构建,支持 OpenAI 兼容 API,并公布了在 GB200 NVL72 硬件上运行 GLM-5.3 的性能基准数据。

来源:MarkTechPost · marktechpost.com