Cortex：将上下文整合为参数化记忆

Cortex 是一种将上下文收益整合进模型参数记忆的方法，通过生成前瞻性查询并蒸馏上下文输出为可合并的低秩或结构化更新，在 4B 至 120B 密集和 MoE 模型上实现上下文收益保留与原始能力保持的帕累托前沿。在 14B 模型上进行 50 次连续事实编辑后，Cortex-Structural 恢复 88.9% 的上下文增益，同时保留 99.8% 的原始非目标性能。