StateBench：测试语言模型在长文档中追踪状态变化的能力

Hugging Face 发布了 StateBench，一个用于评估语言模型在长文档中追踪状态变化能力的基准。该基准包含四个难度层级，分别对应不同复杂度的状态更新操作，如不可变赋值、周期性重赋值、自引用更新和引用赋值。测试结果显示，大多数预训练模型在 r-trivial 状态追踪任务中表现良好，但在更复杂的 general finite 任务中准确率下降至随机水平。