The Dead Salmons of AI Interpretability

一篇神经科学实验揭示了 AI 可解释性研究中类似“死鲑鱼”现象的普遍性：标准分析方法可能为随机初始化的神经网络生成看似合理的解释。该研究提出将可解释性方法视为统计模型的参数，从计算轨迹中推断，并强调需通过明确的替代计算假设验证结果，以量化不确定性。这一视角突出了可解释性查询的可识别性问题，对理解该领域易出现虚假发现、泛化能力差和高方差具有重要意义。