Together AI 开源 ThunderAgent，实现 2 倍吞吐的智能体推理系统

Together AI 开源了智能体推理系统 ThunderAgent，通过将工作流抽象为可调度程序，解决了高并发下 KV 缓存颠簸和节点负载不均的问题。在 8 节点 H100 集群上，相比 SGLang Gateway 实现了 2.39 倍的加速和接近线性的吞吐扩展。该系统与 OpenAI 兼容，只需在客户端添加 `program_id` 字段即可集成现有推理后端。