POPE基准评估受token读取方式干扰

1. 04:00
   Hugging Face · 每日论文精选

   视觉语言模型幻觉评估中 token 读取方式对 POPE 基准结果的干扰

   研究发现，在 POPE 基准上评估视觉语言模型时，token 读取方式的选择会显著影响 F1 分数，例如 LLaVA-1.5-7B 在不同 token 读取策略下得分差异达 6.13 点。该问题源于模型实际输出的 token 与评估代码中预设的 yes/no token ID 不匹配，且在多个模型和 tokenizer 家族中均存在，表明评估协议本身存在系统性偏差。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。