混沌中的文本：揭示多模态检索器的模态偏好

本文揭示了多模态检索器在处理包含文本、图像和融合文本-图像文档的混合语料库时存在模态偏好现象，即文本表示比图像表示获得更高的相似度评分，导致无关文本可能优于相关图像。研究发现，当图像文档被语义对应的文本表示逐步替代时，检索性能呈现明显的V型曲线。为缓解这一偏差，研究团队提出Trident方法，通过构建文本、图像和融合文本-图像视图并联合优化相关性判别与正视图平衡，提升了混合模态检索效果。