跳到正文

技术方向

安全对齐 最新动态

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

65 条精选近 30 天 52 条共收录 349 条

更新

精选归档 · 第 4 页

8月3日周一第 61–65 条
  1. Import AI62

    Import AI 467:自主AI病毒、算力经济学与前沿研究能力争议

    本期Import AI通讯汇总了近期多项AI研究动态。研究人员构建了利用开源大模型在本地GPU上自主推理、传播的计算机病毒原型,攻击链整体成功率约37%。Dwarkesh Patel认为,随着AI能力逼近人类水平,算力价格可能因需求激增而上涨10倍以上。

    推荐理由:原文汇总了多篇关于AI自主威胁、算力经济学和前沿研究能力的近期研究,为读者提供了理解当前AI发展关键争议的集中视角。

7月16日周四
  1. Mistral 新模型66

    Mistral 发布 Shieldstral-1.0-3B 多模态安全分类模型

    Mistral 发布 Shieldstral-1.0-3B,一个 3B 参数的多模态安全分类模型,支持文本、图像及图文混合内容的动态政策审核,基于自然语言政策输入返回连续安全分数,可在单 GPU 上运行,支持 32k 上下文窗口,开源 Apache 2.0 许可。

    推荐理由:原文提供了模型架构、能力指标和部署方式,读者可以据此判断其在轻量级安全审核场景中的适用性。

6月30日周二
  1. Vector Institute54

    Vector Institute 发布免费开源 AI 工具 UnBias-Plus,用于检测和改写文本偏见

    Vector Institute 发布了免费开源 AI 工具 UnBias-Plus,可检测、解释并改写文本和 AI 训练数据中的偏见语言。该工具提供基于浏览器的公开版本(支持最多 750 词)和供开发者集成的安装包,旨在帮助新闻编辑、人力资源、医疗保健和 AI 开发团队识别并修正偏见。

    推荐理由:原文给出了工具的具体功能、应用场景和获取方式,读者可以据此评估它如何帮助筛查和改写文本中的偏见。

5月15日周五
  1. The Register · AI/ML65

    安大略省审计发现医生使用的AI笔记工具常犯基本事实错误

    安大略省审计长办公室对20家获准供应商的AI笔记系统评估发现,这些系统普遍遗漏关键细节、插入错误信息并产生幻觉内容。在模拟医患录音测试中,9个系统编造了治疗建议,12个系统插入了错误的药物信息,17个系统遗漏了患者心理健康的关键细节。报告指出,采购评估标准存在严重问题,医疗笔记准确性仅占总评分的4%,而供应商是否在安大略有本地存在却占30%。

    推荐理由:审计报告揭示了医疗AI笔记工具在关键事实上的系统性错误,以及采购评估标准中存在的权重失衡问题。

5月1日周五
  1. OpenAI Alignment70

    Codex 发布自动审查功能

    Codex 发布自动审查功能,通过独立智能体对越界操作进行审批,将人工审批频率降低约200倍,同时保持99%的批准率和对危险行为的高识别能力。该功能已用于 OpenAI 内部多数桌面端 token 使用,支持在不牺牲安全性的前提下提升自动化效率。

    推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。