Thinking Machines Lab 发布多模态 MoE 模型 Inkling

Thinking Machines Lab 发布了多模态专家混合模型 Inkling，支持文本、图像和音频输入，具备可控推理深度和广泛的微调能力。Inkling 采用查询条件相对注意力、短因果卷积和共享专家池 MoE 等架构创新，总参数量 975B，活跃参数量 40B，上下文窗口为 1M token。