商汤大装置如何提升推理效能？

商汤大装置通过PD分离与异构混合调度技术，实现国产算力与高阶GPU协同处理Prefill和Decode任务，使Token吞吐量在相同高端旗舰卡条件下提升至5倍。该架构支持动态角色切换和跨域推理编排，降低跨域传输压力并提升系统能效。平台日均Token服务量已达6万亿，预计第四季度将达10万亿。