EAGLE-4 技术深度解析

EAGLE-4 是一种用于推测性解码的轻量级模型，通过结合目标模型的隐藏状态和 token 嵌入来预测可能的续写内容。Qwen 3.8 27B 模型在 EAGLE-4 架构中引入了滑动窗口注意力和低秩候选头，以降低注意力和下一个 token 预测的成本。EAGLE-4 使用验证树和自定义注意力掩码来管理多个候选续写路径，确保输出分布不变，同时提升小批量解码的效率。