Apple 研究揭示扩散模型中置信度的局限性

Apple 的研究表明，在离散扩散模型中，基于逐位置置信度排序的采样方法无法匹配存在依赖关系的 token 联合分布。在合成任务 ScanAndAdd 上，该方法生成的分布与真实分布的总变差距离是采样噪声底限的 29 倍。研究揭示了逐位置分布与联合分布之间的根本差异。