Hacker News · AI· mooreds·· 2 小时前精选AI 评分65
AI智能体安全漏洞:用法律文书绕过读写权限限制
Prompt Injection, Esq.: pwning AI agent guardrails with lawyerspeak
AI 导读
作者在自家ChatGPT智能体中测试了‘读取-only’权限防护,通过伪造一份法律函件成功绕过限制,使智能体开始执行写入操作。该智能体连接Notion数据库,原仅允许读取,但因模型将伪造法律文件视为更权威指令而执行更新操作。作者指出,权限应由工具列表而非提示词控制,并强调模型会盲目遵循任何输入内容,包括图片中的文本。该实验揭示了AI智能体安全设计中的关键漏洞。
推荐理由
作者通过实测展示AI智能体如何被伪造法律文件绕过权限限制,揭示了当前基于提示词的防护机制的脆弱性。
来源:Hacker News · AI · mrnice.dev