Vast 使用分级存储缓解 AI 智能体内存需求

Vast 通过分级存储技术缓解 AI 智能体在长会话和企业级应用中的内存压力，将 KV cache 从 GPU 内存逐步卸载到 CPU 内存和持久化存储中。该方案结合了 Nvidia 的 Dynamo 软件进行协调，支持在多台机器间灵活调度会话数据，减少重复计算。企业级智能体需要持久化存储会话内容以用于微调或训练，这使 AI 智能体内存成为治理与性能的关键资产。