清华大学开源 AKV，一个用于 LLM 智能体的 KV 缓存工程服务器

清华大学与CUHK研究人员开源了AKV，一个用于LLM智能体的KV缓存工程服务器，通过优化缓存策略使平均成本降低27.7%且任务得分提升1.7点。AKV基于SGLang构建，支持GPT-OSS-120B、MiniMax-M2.7和MiroThinker-1.7-Mini等模型，提供无权重的缓存操作接口。