清华大学与港中大开源AKV缓存服务器
热点事件持续更新
清华大学与港中大开源AKV缓存服务器
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
清华大学与香港中文大学的研究人员开源了用于大语言模型智能体的KV缓存工程服务器AKV。 该服务器基于SGLang构建,支持GPT-OSS-120B、MiniMax-M2.7和MiroThinker-1.7-Mini等模型,并提供了无权重的缓存操作接口。研究人员称,通过优化缓存策略,AKV可使平均成本降低27.7%,任务得分提升1.7点。
AI 根据报道生成 · 56 分钟前更新
最新进展10月26日 15:56
清华大学开源 AKV,一个用于 LLM 智能体的 KV 缓存工程服务器报道时间线
沿着报道,了解事件的不同侧面。
10月26日
- MarkTechPost清华大学开源 AKV,一个用于 LLM 智能体的 KV 缓存工程服务器
清华大学与CUHK研究人员开源了AKV,一个用于LLM智能体的KV缓存工程服务器,通过优化缓存策略使平均成本降低27.7%且任务得分提升1.7点。AKV基于SGLang构建,支持GPT-OSS-120B、MiniMax-M2.7和MiroThinker-1.7-Mini等模型,提供无权重的缓存操作接口。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。