智谱 GLM-Omni 模型论文揭示统一多模态模型的视觉与语言知识鸿沟

智谱 AI 内部模型 GLM-Omni 在论文中首次公开，其图像生成正确率为 54%，但文字问答正确率仅为 14.57%。研究通过虚构世界 MagicWorld 测试模型能否从图像中学习并调用知识，发现图像生成与文字问答之间存在显著的跨模态知识鸿沟。