IT之家·· 4 小时前AI 评分44
不用显卡:玩家靠停产傲腾内存跑通 2.8 万亿参数 Kimi K3 AI 模型,每秒输出 1.5 词元
AI 导读
玩家使用已停产的英特尔傲腾持久内存 200 系列,在无显卡环境下成功运行 2.8 万亿参数的月之暗面 Kimi K3 模型,推理速度最高达每秒 1.5 词元。测试采用 1 比特量化和压缩模型数据,关闭 DAX 功能后速度提升;3 比特量化测试生成 5 万个词元需约 18.5 小时。该项目为实验性质,未提及实际应用可行性。
来源:IT之家 · ithome.com