Together AI·· 16 小时前精选AI 评分66
Together Compiler 发布：面向动态推理负载的持续编译系统
Together Compiler: Continuous Compilation for AI inference
AI 导读
Together AI 发布 Together Compiler（TKCC），一个面向动态推理负载的持续优化系统，通过高吞吐智能体和持久化引擎实现2.6x TPS提升，在Llama 1B、MiniMax M3.1-Flash、DeepSeek v4.1-Flash等模型上超越现有开源方案，支持多领域通用优化。
推荐理由
原文给出了持续编译架构和性能提升数据，读者可以据此判断其对动态推理负载的优化能力。
来源：Together AI · together.ai