IT之家·· 1 小时前精选AI 评分58
DeepSeek 全面开源内部推理框架 DeepInfer
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,目标实现大模型普惠
AI 导读
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,支持分布式推理、推测解码、SWA Bounded Replay 等能力,兼容英伟达与华为昇腾平台,并同步开源生产级 Token 编解码组件 deepseek-recipe,旨在降低大模型推理成本,实现普惠。
推荐理由
DeepSeek 开源其内部推理框架 DeepInfer,提供高吞吐低延迟的推理能力,开发者可据此优化私有化或云部署的算力成本。
来源:IT之家 · ithome.com