跳到正文
蚂蚁百灵 新模型·· 4 小时前AI 评分27

inclusionAI/Ling-3.0-tiny 的 UBTree 推测解码草案模型 Ling3-Tiny-UBTree-B16 发布

inclusionAI/Ling-3.0-tiny-UBTree

AI 导读

inclusionAI/Ling-3.0-tiny 推出草案模型 Ling3-Tiny-UBTree-B16,该模型基于五层 DFlash 主干和学习的二元组选择器,用于推测解码。参数规模为 183.1M,使用 BF16 权重 dtype,支持与目标模型联合训练。SGLang 集成即将推出,但目前尚未对开源社区开放。

来源:蚂蚁百灵 新模型 · huggingface.co