MarkTechPost· Asif Razzaq·· 22 小时前AI 评分51
Aleph Alpha 发布 Kolibri：一个 78.1B 参数、仅激活 3.46B 的英德双语 MoE 模型
Aleph Alpha Releases Kolibri: A 78.1B Open-Weight English-German MoE Model With Only 3.46B Active Parameters
AI 导读
Aleph Alpha 发布了 Kolibri-1，这是一个采用混合专家架构的开源权重英德双语大语言模型。模型总参数量为 781 亿，但每个 token 仅激活 34.6 亿参数，支持长达 1,048,576 token 的上下文，并附带 Apache 2.0 许可证。
来源：MarkTechPost · marktechpost.com