Iterate.ai 发布 Lifeboat 推理引擎

Iterate.ai 发布了 Lifeboat 推理引擎，其测试显示在特定条件下，单张 GPU 支持的 AI 智能体并发会话数可提升至约六倍。 该引擎通过公平调度、KV缓存优化和安全沙箱实现性能提升。在测试中，使用单张 Nvidia RTX PRO 6000 Blackwell GPU 运行 Qwen 30B-A3B 模型时，Lifeboat 支持 2,048 个并发会话，而关闭优化时仅支持约 1,024 个。 Iterate.ai 提供了免费开发者许可证，适用于单节点上最多两个推理服务器的非商业和评估用途。标准许可证和专业支持每月收费 49.99 美元，包含认证功能的机密计算版每月收费 499.99 美元，两者均可免费试用七天。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。