TokenRouter: 为 Token 级大语言模型路由设计的高效服务系统

TokenRouter 是一个为 Token 级大语言模型路由设计的高效服务系统，通过请求为中心的编程和模型为中心的执行方式，实现异步请求分发与延迟批处理调度。该系统在多种路由算法、工作负载和模型组合下，解码吞吐量比现有系统提升 2.01-64.15 倍，显著提高服务效率。代码已开源，可在指定链接获取。