ECHO：高效因果自递归超越辅助多token预测

ECHO 方法提出一种高效因果自递归框架，通过主干网络最终层直接预测多步未来，结合动态深度采样降低训练成本。在预训练中，该方法在推理和代码任务上提升下游准确率，训练开销仅为传统多token预测方法的一半。推理时，模型可自生成超出训练深度的草案，保持高熵生成中的对齐能力，优势在双倍token预算、重复预训练和监督微调下依然存在。