京东广告与鲲鹏合作降低推理时延15%

京东广告与华为鲲鹏合作，通过灵衢协议构建超节点架构，实现端到端推理时延降低15%。方案包括创新组网、KV Cache两级缓存和RPC通信改造，形成300TB共享内存池，缓存间时延下降3个量级，通信时延降低38%以上。该方案在618大促期间验证稳定，核心业务场景5%流量已迁移至鲲鹏集群，后续将推进双十一更大规模部署，并探索Agent沙箱、多模态检索等方向。