Together AI 详解如何高效推理服务 MiniMax M3 模型

Together AI 作为 MiniMax M3 的优选云合作伙伴，分享了其针对该模型新特性的推理优化方案。M3 具备 100 万 token 上下文、原生多模态和稀疏注意力架构，Together AI 通过 KV 块主序稀疏注意力、与分页注意力的集成、解码索引评分优化以及网关预处理多模态输入等方法，在代理式流量下将推理性能提升了 81% 至 125%。