蚂蚁百灵 新模型·· 4 小时前AI 评分27
inclusionAI/Ling-3.0-tiny 的 UBTree 推测解码草案模型 Ling3-Tiny-UBTree-B16 发布
inclusionAI/Ling-3.0-tiny-UBTree
AI 导读
inclusionAI/Ling-3.0-tiny 推出草案模型 Ling3-Tiny-UBTree-B16,该模型基于五层 DFlash 主干和学习的二元组选择器,用于推测解码。参数规模为 183.1M,使用 BF16 权重 dtype,支持与目标模型联合训练。SGLang 集成即将推出,但目前尚未对开源社区开放。
来源:蚂蚁百灵 新模型 · huggingface.co