Library of Layers (LoL): 运行时自适应排列 Transformer 层的架构

Library of Layers (LoL) 架构在推理时动态排列 Transformer 层，通过一个全局库大小的超参数实现参数复用与稀疏性的无缝切换。在合成数独和迷宫数据上，模型采用不同层序实现不同解题策略，并可通过干预路由强制应用特定策略。在多语言自然语言处理中，LoL 根据语言和脚本选择不同层序模式，且在安全数据训练后，其路由输出能通过探针有效区分安全与不安全文本。