Towards Data Science· Utkarsh Mangal·· 1 小时前精选AI 评分60
温度0为何不完全确定：大模型推理中的数值噪声分析
Why Temperature 0 Isn't Deterministic
AI 导读
作者通过实验和数学推导分析了温度0下大模型输出不一致的原因，指出浮点计算误差和批处理顺序变化导致logit值微小波动，仅在top-2 logits差距极小时（近似平局）才会引发输出翻转。基于GPT-2的实验证明，翻转概率与logit间隙密度f(0)和噪声大小E|Δ|成正比，公式p≈f(0)·E|Δ|/2在多种噪声下与模拟结果吻合。该研究揭示了推理确定性在硬件和模型层面的边界条件。
推荐理由
原文通过实证和公式推导解释了温度0下输出不一致的根源，读者可据此理解数值误差如何影响大模型推理的确定性。
来源：Towards Data Science · towardsdatascience.com