MARGIN方法校准多智能体模型置信度

研究团队提出了一种名为MARGIN的运行时置信度校准方法，该方法通过观察答案结果来学习对多智能体基础模型输出的置信度进行修正，无需重新训练模型或额外校准数据集。 在BigCodeBench基准测试中，未经校准的模型平均置信度与准确性呈负相关，选择更自信的响应者在正确/错误对中表现低于随机水平。与五种在线校准基线相比，MARGIN在校准后于两个代码生成任务上取得了更低的预期校准误差。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。