Hugging Face · 每日论文·· 2 天前精选AI 评分55
论文证明并改进柏拉图表征假设:JEPAs 在多模态对齐中的理论与实证
Proving and Improving the Platonic Representation Hypothesis with JEPAs
AI 导读
论文提出并证明了柏拉图表征定理:在良好视图下,不同模态的JEPAs可学习到旋转等价的统一表征。实验证明,相比next-token预测,JEPAs在相同语料下仅需1/42的样本量即可达到同等对齐效果,109M参数的文本JEPA在对齐性能上超越72B参数语言模型及CLIP文本编码器。该方法在无配对数据的基准上,零样本准确率超越8B参数语言模型,如ImageNet-100上达64%(对比最高56%)。
推荐理由
论文通过理论证明和实验证明,JEPAs 在良好视图下能以更少样本实现跨模态对齐,为多模态模型设计提供新路径。
来源:Hugging Face · 每日论文 · huggingface.co