为什么一个微型 GPT 可以知道两个事实却无法将它们联系起来

一个 4 层、宽度 128、4 个注意力头的微型 GPT 模型在训练数据中学习了两个独立事实后，仍无法在测试中将它们组合成新问题的答案。在未添加身份桥接示例的情况下，模型对所有 600 个测试问题的准确率为 0%。当为 25%、50% 或全部桥接实体添加身份桥接示例后，模型在训练初期能正确回答部分组合问题，但随着训练继续，准确率逐渐下降至 7%-15%。