首Token延迟降低32.4%！是石科技发布TokenFleet分布式调度框架，国产推理再提效

是石科技在2026 CCF全国高性能计算学术大会期间发布TokenFleet分布式调度框架，通过请求路由、跨机房容量协同和混合负载治理，提升国产推理服务效率。GLM5.3调优数据显示，采用预测延迟路由后，P95首Token延迟降低32.4%，P50首Token延迟降低71.3%。该框架聚焦集群有效产出，结合模型质量、服务要求与算力预算，优化资源分配与任务交付。