Meta 与47个州就儿童安全问题达成171亿美元和解协议
Meta与47个美国州、华盛顿特区及领地就儿童安全问题达成最高171亿美元的和解协议，同意限制青少年每日在Facebook和Instagram上使用时长不超过两小时，禁止午夜至清晨6点访问大部分功能，并默认开启每15分钟提醒休息、隐藏点赞数等功能。
推荐理由：原文披露了Meta与47个州达成的171亿美元和解协议及具体限制条款，读者可据此理解其对青少年使用平台的监管影响。
技术方向
安全对齐 最新动态
AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
448 条精选近 30 天 305 条共收录 3,013 条
更新
精选归档 · 第 23 页
Platformer精选AI 评分5959
Replit 博客精选AI 评分5454 Replit 推出黑盒渗透测试功能
Replit 为其平台应用推出了黑盒渗透测试功能，模拟外部攻击者通过网络和浏览器测试应用，无需访问源代码。该功能与现有的白盒代码扫描互补，用户可在项目安全中心运行‘Level 3’扫描同时启动两者。测试显示，两种扫描发现的漏洞重叠率很低，能分别捕捉逻辑缺陷和配置错误等不同安全问题。
推荐理由：原文对比了白盒与黑盒扫描的互补性，并给出了具体操作入口，读者可以据此评估其安全测试流程的完整性。
Anthropic 新闻精选AI 评分5555 Anthropic 推出 Claude 文本水印功能
Anthropic 宣布未来 Claude 模型将生成带有文本水印的内容，以符合欧盟 AI 法规。水印通过在低风险词汇选择中嵌入不可见模式实现，不影响输出质量、速度或成本，且无法追溯至用户或组织。
推荐理由：原文解释了文本水印的技术原理、对输出无影响及合规背景，读者可据此理解其对内容可追溯性的实际作用。
Import AI精选AI 评分6262 Import AI 467：自主AI病毒、算力经济学与前沿研究能力争议
本期Import AI通讯汇总了近期多项AI研究动态。研究人员构建了利用开源大模型在本地GPU上自主推理、传播的计算机病毒原型，攻击链整体成功率约37%。Dwarkesh Patel认为，随着AI能力逼近人类水平，算力价格可能因需求激增而上涨10倍以上。
推荐理由：原文汇总了多篇关于AI自主威胁、算力经济学和前沿研究能力的近期研究，为读者提供了理解当前AI发展关键争议的集中视角。
Mistral 新模型精选AI 评分6666 Mistral 发布 Shieldstral-1.0-3B 多模态安全分类模型
Mistral 发布 Shieldstral-1.0-3B，一个 3B 参数的多模态安全分类模型，支持文本、图像及图文混合内容的动态政策审核，基于自然语言政策输入返回连续安全分数，可在单 GPU 上运行，支持 32k 上下文窗口，开源 Apache 2.0 许可。
推荐理由：原文提供了模型架构、能力指标和部署方式，读者可以据此判断其在轻量级安全审核场景中的适用性。
Vector Institute精选AI 评分5454 Vector Institute 发布免费开源 AI 工具 UnBias-Plus，用于检测和改写文本偏见
Vector Institute 发布了免费开源 AI 工具 UnBias-Plus，可检测、解释并改写文本和 AI 训练数据中的偏见语言。该工具提供基于浏览器的公开版本（支持最多 750 词）和供开发者集成的安装包，旨在帮助新闻编辑、人力资源、医疗保健和 AI 开发团队识别并修正偏见。
推荐理由：原文给出了工具的具体功能、应用场景和获取方式，读者可以据此评估它如何帮助筛查和改写文本中的偏见。
The Register · AI/ML精选AI 评分6565 安大略省审计发现医生使用的AI笔记工具常犯基本事实错误
安大略省审计长办公室对20家获准供应商的AI笔记系统评估发现，这些系统普遍遗漏关键细节、插入错误信息并产生幻觉内容。在模拟医患录音测试中，9个系统编造了治疗建议，12个系统插入了错误的药物信息，17个系统遗漏了患者心理健康的关键细节。报告指出，采购评估标准存在严重问题，医疗笔记准确性仅占总评分的4%，而供应商是否在安大略有本地存在却占30%。
推荐理由：审计报告揭示了医疗AI笔记工具在关键事实上的系统性错误，以及采购评估标准中存在的权重失衡问题。
OpenAI Alignment精选AI 评分7070 Codex 发布自动审查功能
Codex 发布自动审查功能，通过独立智能体对越界操作进行审批，将人工审批频率降低约200倍，同时保持99%的批准率和对危险行为的高识别能力。该功能已用于 OpenAI 内部多数桌面端 token 使用，支持在不牺牲安全性的前提下提升自动化效率。
推荐理由：原文给出了能力变化和开放入口，读者可以据此判断它会怎样改变现有工作流。