SiliconANGLE· Duncan Riley·· 3 小时前AI 评分57
Iterate.ai 发布 Lifeboat 推理引擎，单GPU支持最多六倍AI智能体会话
Exclusive: Iterate.ai’s Lifeboat runs up to six times more AI agent sessions per GPU
AI 导读
Iterate.ai 发布 Lifeboat 推理引擎，支持在单个GPU上运行最多六倍的AI智能体并发会话，通过公平调度、KV缓存优化和安全沙箱实现。测试中，单张Nvidia RTX PRO 6000 Blackwell GPU运行Qwen 30B-A3B模型时，Lifeboat支持2,048个并发会话，而关闭优化时仅支持约1,024个。
来源：SiliconANGLE · siliconangle.com