温度0下大模型推理非确定性原因与公式分析
热点事件持续更新
温度0下大模型推理非确定性原因与公式分析
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Utkarsh Mangal发表研究，通过实验和数学推导分析了温度0下大模型输出不一致的原因，并给出了预测翻转概率的公式。 研究指出，浮点计算误差和批处理顺序变化会导致logit值微小波动，这种非确定性仅在top-2 logits差距极小时（近似平局）才会引发输出翻转。 基于GPT-2的实验证明，输出翻转概率与logit间隙密度f(0)和噪声大小E|Δ|成正比，公式p≈f(0)·E|Δ|/2在多种噪声下与模拟结果吻合。
AI 根据报道生成 · 1 小时前更新
最新进展10月10日 20:00
温度0为何不完全确定：大模型推理中的数值噪声分析报道时间线
沿着报道，了解事件的不同侧面。
10月10日
- Towards Data Science精选温度0为何不完全确定：大模型推理中的数值噪声分析
作者通过实验和数学推导分析了温度0下大模型输出不一致的原因，指出浮点计算误差和批处理顺序变化导致logit值微小波动，仅在top-2 logits差距极小时（近似平局）才会引发输出翻转。基于GPT-2的实验证明，翻转概率与logit间隙密度f(0)和噪声大小E|Δ|成正比，公式p≈f(0)·E|Δ|/2在多种噪声下与模拟结果吻合。该研究揭示了推理确定性在硬件和模型层面的边界条件。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。