逆转诅咒：为何语言模型知道‘A是B’却无法回答‘B是A’

本文探讨了语言模型中的‘逆转诅咒’现象，即模型在单向训练后无法回答反向事实问题。作者用仅 60 行 NumPy 代码构建的极简模型复现了该现象，其反向准确率为 0%，而正向为 100%。实验表明，问题根源在于训练目标仅更新‘主语’词的嵌入，导致‘宾语’词的嵌入从未被训练，从而无法支持反向推理。