Hugging Face · 每日论文·· 13 天前精选AI 评分55
相同训练的模型在不同越狱攻击中表现差异研究
Identically Trained Language Models Break on Different Jailbreaks
AI 导读
研究对25种预训练数据配方下、3个预训练种子和2个安全微调种子生成的150个1B模型进行越狱攻击测试,发现同一预训练运行的模型间越狱响应相关性达0.984,不同预训练种子降至0.811,不同数据配方进一步降至0.779。预训练运行会留下可识别指纹,50个随机提示即可98%准确识别其来源。
推荐理由
研究通过多种子训练验证了模型对越狱攻击的响应差异主要来自预训练过程,而非数据或安全微调,这对安全评估方法有直接影响。
来源:Hugging Face · 每日论文 · huggingface.co