Together AI 开源 Aurora：基于 RL 的在线自适应推测解码框架

Together AI 开源了 Aurora，这是一个基于强化学习的开源框架，能够从实时推理轨迹中学习并异步更新推测解码器中的草稿模型。该框架将推测解码从静态的一次性设置转变为动态、自我改进的飞轮，在实验中，相比训练良好但静态的草稿模型，Aurora 在 Qwen3 和 Llama3 等模型上实现了额外 1.25 倍的加速。