Hacker News · AI· lisajaloza·· 3 小时前AI 评分32
Microsoft ASSERT 框架如何兼顾生成式 AI 评估的覆盖率与诊断价值
Are your AI evals measuring the right things?
AI 导读
Microsoft 的 ASSERT 框架通过将行为需求转化为结构化评估套件,提升生成式 AI 测试的覆盖率与诊断价值。该框架基于明确的行为分类体系生成测试场景,确保评估能覆盖多样化的风险行为。研究显示,ASSERT 能帮助开发者更清晰地审查测试内容并定位失败原因,同时在 16 个网络安全风险测试中与 Petri Bloom 进行了对比评估。
来源:Hacker News · AI · commandline.microsoft.com