量子位· 一水·· 2 小时前精选AI 评分61
岩山科技联合港科大CMU开源EdgeRock-4B模型，KV Cache压缩99%吞吐提升6倍
KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型
AI 导读
岩山科技旗下岩芯矩阵联合港科大、CMU等高校发布并开源EdgeRock-4B模型，通过记忆岩锚（RMA）机制将KV Cache固定在72MiB，相比源模型Qwen3.5-4B减少99.1%，单卡80GB显存可同时运行512路长推理，输出吞吐达12124 tokens/s，是源模型的6.42倍。
推荐理由
原文展示了KV Cache压缩99%和吞吐提升6倍的具体方法与实测数据，读者可据此理解固定内存长推理的可行性与工程价值。
来源：量子位 · qbitai.com