Speculative Decoding Explained: 如何通过任何大语言模型实现3×更快的推理

Speculative Decoding 通过使用轻量级草案模型生成多个候选 token 并由主模型批量验证，实现 2x 到 3x 的推理加速。该方法不改变模型结构或重新训练，仅通过更智能的生成策略提升效率。草案模型生成速度更快，主模型在一次前向传递中评估所有候选 token，确保输出概率分布与主模型独立生成完全一致。