跳到正文
热点事件持续更新

研究揭示多模态检索器存在文本偏好并提出Trident缓解方法

2 篇报道2 个报道来源5 小时前更新

先了解这件事

AI 综述

研究团队发现,多模态检索器在处理混合模态文档时存在文本偏好,即文本表示比图像表示获得更高的相似度评分,导致检索结果中无关文本可能优于相关图像。 为缓解这一偏差,研究团队提出了名为Trident的方法,通过构建文本、图像和融合文本-图像视图作为同等正例,并联合优化相关性判别与正视图平衡来提升检索效果。 随后,OpenBMB基于该方法发布了Trident-Qwen3VL-2B多模态嵌入模型,用于混合模态检索任务。

AI 根据报道生成 · 2 小时前更新

事件进展

2 个进展

  1. 10月12日 18:25 · 1 篇报道
    发布Trident-Qwen3VL-2B多模态嵌入模型
    面壁 MiniCPM 新模型:openbmb/Trident-Qwen3VL-2B:多模态嵌入模型用于混合模态检索
  2. 10月8日 04:00 · 1 篇报道
    揭示混合模态检索器中的模态偏好
    Hugging Face · 每日论文:混沌中的文本:揭示多模态检索器的模态偏好

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. 面壁 MiniCPM 新模型
    openbmb/Trident-Qwen3VL-2B:多模态嵌入模型用于混合模态检索

    openbmb/Trident-Qwen3VL-2B 是一个用于混合模态检索的多模态嵌入模型,可将文本、图像及融合输入映射到共享空间,实现统一排序。该模型基于 Qwen3-VL-2B-Instruct 微调,已合并 LoRA 适配器,无需额外基础模型或 PEFT。用户可通过指定文本或图像路径进行编码,支持纯文本、纯图像或融合输入,适用于跨模态检索任务。

10月8日
  1. Hugging Face · 每日论文
    混沌中的文本:揭示多模态检索器的模态偏好

    本文揭示了多模态检索器在处理包含文本、图像和融合文本-图像文档的混合语料库时存在模态偏好现象,即文本表示比图像表示获得更高的相似度评分,导致无关文本可能优于相关图像。研究发现,当图像文档被语义对应的文本表示逐步替代时,检索性能呈现明显的V型曲线。为缓解这一偏差,研究团队提出Trident方法,通过构建文本、图像和融合文本-图像视图并联合优化相关性判别与正视图平衡,提升了混合模态检索效果。

本事件热度走势

可比范围当前
9
可比范围峰值
910月12日 22:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。