Vector Institute 发布多模态混合专家模型研究论文

Vector Institute 发布关于多模态混合专家（MoE）模型的研究论文，系统分析了从稀疏路由到多模态部署的架构原理与训练挑战，实证揭示了模型在早期层按模态路由、深层按语义路由的结构演化规律，并提出通过QLoRA、Flash Attention 2与lm_head预钩子实现35.26B参数模型在四张A100 GPU上的可训练性，同时指出专家并行是长期可行方向。