Together AI 解析服务 DeepSeek-V4：为何百万 token 上下文是推理系统问题
DeepSeek-V4 通过压缩 KV 缓存的 token 维度来支持百万 token 上下文，但这将压力转移到了推理系统。模型采用混合注意力设计，包括压缩稀疏注意力、重度压缩注意力和滑动窗口注意力，这要求推理引擎同时管理三种具有不同大小和生命周期的缓存对象。文章基于在 NVIDIA HGX B200 上的早期部署经验，分析了缓存策略、前缀复用和不同工作负载下的性能权衡。
推荐理由：文章从推理系统角度剖析了 DeepSeek-V4 百万 token 上下文窗口的实现挑战，为开发者评估其实际部署成本提供了具体的技术视角。