Hugging Face · 每日论文·· 10 天前AI 评分45
Kierston & KierstonBench：模拟宾州奥利恩特市并评估大语言模型在犯罪调查与监控任务中的表现
Kierston & KierstonBench: Simulation of Allentown, PA and Evaluation of Language Models in Crime Investigation and Surveillance Tasks
AI 导读
Hugging Face 发布 Kierston 和 KierstonBench，用于模拟宾州奥利恩特市居民活动并评估大语言模型在犯罪调查与监控任务中的能力。该基准包含 32 类任务，测试模型在记录关联、日常重建、事件调查和欺骗账户识别等方面的表现。在对 16 个模型的评估中，多数模型无法完成记录调查，仅少数前沿模型能解决大部分任务并在证据不足时选择放弃。
来源：Hugging Face · 每日论文 · huggingface.co