现代大语言模型中注意力机制变体的视觉指南

本文提供了现代大语言模型中注意力机制变体的视觉指南，包含 45 个模型架构的图示卡片。作者基于过往内容整理并补充了多个重要架构，同时推出了可通过 Redbubble 获取的海报版本。文中还回顾了近期在主流开源模型中使用的注意力变体，如 grouped-query attention、sliding window attention 等。