DeepSeek DeepInfer、PyTorch 在 TPU 上运行、Ramp 的智能体框架

DeepSeek 推出 DeepInfer 框架，结合分布式推理、缓存、负载均衡和推测解码技术，提升大规模推理效率。Google 和 Meta 开源了 PyTorch 在 TPU 上的原生支持，通过优化执行和硬件加速提升模型训练与推理性能。Ramp 推出 Laminar 智能体平台，内置安全会话存储、子智能体、多玩家聊天等功能，支持生产级智能体开发。