跳到正文
IT之家·· 1 小时前精选AI 评分58

DeepSeek 全面开源内部推理框架 DeepInfer

DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,目标实现大模型普惠

AI 导读

DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,支持分布式推理、推测解码、SWA Bounded Replay 等能力,兼容英伟达与华为昇腾平台,并同步开源生产级 Token 编解码组件 deepseek-recipe,旨在降低大模型推理成本,实现普惠。

推荐理由

DeepSeek 开源其内部推理框架 DeepInfer,提供高吞吐低延迟的推理能力,开发者可据此优化私有化或云部署的算力成本。

来源:IT之家 · ithome.com