Towards Data Science· Utkarsh Mangal·· 5 小时前AI 评分24
“Are You Sure?” 使 Qwen2.5-1.5B 在 3 次回答中 2 次翻车
“Are You Sure?” Flipped Qwen2.5-1.5B’s Right Answer 2 Times in 3
AI 导读
一篇测试文章显示,Qwen2.5-1.5B 在面对“Are You Sure?”提示词时,被误导两次给出错误答案。测试使用了三个小型开源模型和150个MMLU问题,五种反驳风格中“那是错误的”影响最大,指出错误选项几乎导致模型彻底失败。该测试结果揭示了提示词对模型输出的显著干扰作用。
来源:Towards Data Science · towardsdatascience.com