IT之家·· 1 小时前精选AI 评分58
Strata 引擎发布：12GB 显存运行 125B Qwen3.8 模型，RTX 5070 达 94 词元/秒
12GB 显存显卡跑 125B Qwen3.8 模型：Strata 登场，单张 RTX 5070 跑出 94 词元 / 秒
AI 导读
开发者 Niko1221 开源 Strata 引擎，可在 12GB 显存的消费级显卡上运行 125B 参数的 Qwen3.8-Flash-Next 模型，采用 MoE 专家调度和投机解码降低显存占用。
推荐理由
Strata 引擎通过 MoE 专家调度和投机解码，在 12GB 显存下实现 125B 模型推理，读者可据此评估本地部署大模型的可行性。
来源：IT之家 · ithome.com