跳到正文
Hugging Face · 每日论文·· 5 天前精选AI 评分74

Apertus 1.5:从开源文本模型到开源多模态推理器

Apertus 1.5: From Open Text Models to Open Multimodal Reasoners

AI 导读

Apertus 1.5 在 Apertus 1.0 基础上扩展至多模态推理,通过在 4T(8B)和 2T(70B)额外 token 上持续预训练,支持图像和音频理解,上下文窗口扩展至 262,144 tokens;模型架构不变,多模态输入通过 tokenizer 实现,语言模型头仍限于文本。

推荐理由

原文展示了从纯文本到多模态推理的扩展路径,以及在开放数据和训练流程上的完整透明性,为构建可复现的开源多模态模型提供了明确参考。

来源:Hugging Face · 每日论文 · huggingface.co