GLM5.3 稀疏注意力机制如何影响 HBM 内存使用

稀疏注意力机制在 GLM5.3 中减少了 Scaled Dot-Product Attention 操作的内存和带宽需求，但实际并未显著降低整体内存容量瓶颈。SGLang 团队推出的 HiSparse 通过分层内存系统将 KV 缓存条目从设备 HBM 主动卸载到主机 DRAM，提升了高并发和长上下文场景下的吞吐量。