视觉语言模型幻觉评估中 token 读取方式对 POPE 基准结果的干扰

研究发现，在 POPE 基准上评估视觉语言模型时，token 读取方式的选择会显著影响 F1 分数，例如 LLaVA-1.5-7B 在不同 token 读取策略下得分差异达 6.13 点。该问题源于模型实际输出的 token 与评估代码中预设的 yes/no token ID 不匹配，且在多个模型和 tokenizer 家族中均存在，表明评估协议本身存在系统性偏差。