跳到正文
智东西· 李水青·· 5 小时前精选AI 评分70

百度开源文心5.5 Flash Base模型,280B参数激活14B,支持1M上下文

280B总参数、14B激活!百度开源文心5.5 Flash Base,拿下同尺寸SOTA

AI 导读

百度发布并开源文心5.5 Flash Base(ERNIE-5.5-Flash-Base),总参数280B,每个token激活14B参数,预训练数据33.5T tokens,最长训练上下文128K,微调与推理支持1M tokens。

推荐理由

原文详细说明了模型架构、数据构建和训练优化,开发者可据此评估其在长上下文和Agent场景下的适配潜力。

来源:智东西 · zhidx.com