OpenAI 前安全负责人发文剖析公司安全文化与迭代部署风险
OpenAI 前安全透明度负责人 David Robinson 在《大西洋月刊》发文解释离职原因，认为公司追求速度和迭代部署的文化缺乏处理危险技术所需的谦逊与谨慎。他引用董事会成员观点，指出 AI 能力快速提升带来灾难性失控风险，呼吁 AI 行业应像核电、航空业一样建立多层冗余的安全体系，并发展新的对齐科学。文章在 Hacker News 等社区引发了关于离职者动机与 AI 安全现状的广泛讨论。
#安全/对齐
爱范儿AI 评分5151 cnBeta精选AI 评分6161 特朗普政府组建“超级智能”特别工作组，120天内评估AI风险与监管边界
特朗普政府组建了名为“Super Intelligence Force”的AI特别工作组，由国家情报总监Jay Clayton领导，计划在120天内提交报告，系统评估先进AI的风险与机遇，并明确联邦政府的监管角色。工作组将设置三名副主席分别覆盖产业、基础设施和消费者利益，成员包括多名高级官员及外部顾问。政府目前倾向于依靠企业自身安全控制和行业自愿原则，而非建立强制性全面监管制度。
cnBetaAI 评分4646 美财长贝森特批评AI大佬生存风险警告：危言耸听，光喊不拿方案
美国财政部长斯科特·贝森特批评Anthropic CEO达里奥·阿莫代伊、OpenAI负责人萨姆·奥特曼及xAI CEO埃隆·马斯克等人关于AI生存风险的警告是危言耸听且缺乏解决方案。他认为AI行业应加强自我监管，并强调美国必须在确保安全的前提下加速发展以保持对中国的领先优势。
cnBeta精选AI 评分6565 Google 因 AI 生成无效报告暂停部分开源漏洞赏金计划
Google 宣布暂停其开源软件漏洞奖励计划中的产品漏洞提交通道，原因是大量由 AI 生成的无效报告给审核团队带来巨大压力。暂停措施已于 10 月 1 日生效，预计将在 2027 年第一季度提供更新。Google 表示，此次暂停仅针对产品漏洞提交类别，不影响 10 月 1 日之前已提交的报告，供应链安全报告和 Cloud VRP 渠道仍继续接收报告。
推荐理由：Google 因 AI 生成的无效漏洞报告暂停了开源漏洞赏金计划的部分通道，反映了自动化工具对安全研究流程的实际冲击。
cnBetaAI 评分4545 OpenAI CEO萨姆·奥特曼称将宗教力量赋予AI是安全问题
OpenAI CEO萨姆·奥特曼公开表示，将宗教力量赋予AI模型或让人放弃自身判断是真正的安全问题。此番言论紧随《纽约时报》关于Anthropic联合创始人克里斯托弗·奥拉与梵蒂冈讨论Claude等AI模型意识可能性的报道，被视为间接批评。教皇5月发布的通谕则明确主张现有AI系统不具备意识或道德良知，技术应由人类引导。
cnBeta精选AI 评分6060 KAIST 与微软研发“神经价值对齐”AI 系统，通过脑电波判断意图
KAIST 与微软的研究团队开发了名为“神经价值对齐”的 AI 系统，利用脑电图监测用户大脑的预测误差信号，以判断 AI 是否理解或执行了用户的真实意图。系统分析奖励预测误差和状态预测误差两类神经信号，能区分错误发生在目标还是执行层面。
推荐理由：原文介绍了利用脑电信号解决人机意图对齐模糊性的具体方法，为理解下一代交互式智能系统提供了技术视角。
极客公园AI 评分1717 亚马逊推出 Strands Decider 2B 开源决策模型，支持本地部署
亚马逊 Strands Agents 团队开源了 Strands Decider 2B 决策模型，可在本地 CPU/GPU 上运行。该模型基于 Qwen3.5-2B 微调，在 JevBench 数据集上表现良好，在 2B 级别模型中排名第三。在 NVIDIA GeForce RTX 3090 上执行小型决策任务的中位数时延为 153ms。
钛媒体AI 评分3636 Edge AI Daily 早报（10月4日）
arXiv 因 AI 论文暴涨，9月投稿达40363篇，cs.AI类别两年增超6倍，审核被拒率升至10%-12%，并实施每人每月限投2篇的临时措施。Tavus 发布 Griffin 实时视频交互模型，自研实验中48%的参与者在一分钟视频通话后被欺骗。
InfoQ · AI/ML精选AI 评分6969 Archestra 开源安全引擎 OpenAPPA，在两大基准测试中实现 0% 攻击成功率
Archestra 发布了开源安全引擎 OpenAPPA，旨在防止由提示词注入或模型幻觉导致的数据泄露。该引擎在 Bench-Corp 和 AgentThreatBench 安全基准测试中实现了 0% 的攻击成功率，任务完成率为 89%。
推荐理由：原文提供了开源安全引擎 OpenAPPA 在两大基准测试中的零攻击成功率数据，并与 Claude Code、Microsoft FIDES 进行了对比。
Simon WillisonAI 评分3333 Simon Willison 呼吁 AI 与云服务商默认设置硬性预算上限
Simon Willison 主张付费 API 和云服务应将硬性预算上限设为默认功能，以防范因 AI 智能体或代码意外运行导致的高额账单。AWS 已于 9 月推出月度支出限制功能，Google Cloud 也在 7 月推出了名为“Spend Caps”的类似服务。作者希望 AI 智能体能主动推荐提供硬性预算上限的服务商，以保护开发者。
cnBetaAI 评分3232 贝森特批评AI风险警告是危言耸听
贝森特批评部分AI领域人士对风险的警告是危言耸听，认为他们拿不出解决方案。他主张AI实验室应承担起责任，实现安全的加速发展，而非单纯呼吁监管。特朗普总统也否定了出台新联邦监管的想法，支持由行业进行自我监管和外部机构评估安全性。
The Next WebAI 评分3434 口述历史学家在《卫报》警告：AI 可能削弱人类的倾听能力
澳大利亚口述历史学家 Shirleene Robinson 在《卫报》专栏中指出，AI 可能侵蚀人类宝贵的倾听能力，这比其对写作能力的威胁更值得担忧。她援引的研究显示，2005年至2019年间，人们日均说话量从约16,000词降至12,700词，25岁以下群体下降最显著。
The Next WebAI 评分5757 美国指控加州男子向中国走私价值3亿美元AI服务器
美国司法部指控加州男子 Greg Lui 通过其公司 Earthmade Computer，在2023年至2024年间，将价值超过3亿美元、装有AI芯片的计算机服务器走私至中国。检方称其通过马来西亚和新加坡转运，并使用虚假文件掩盖最终目的地。Lui 面临走私和洗钱等三项指控，最高可判50年监禁。
The Next WebAI 评分4242 印度央行行长警告下一场金融危机或始于网络攻击
印度央行行长桑贾伊·马尔霍特拉警告，下一场金融危机可能始于地缘政治事件、网络攻击或技术故障。他特别指出 AI 加剧了网络风险，并可能因模型缺陷、对外部供应商的依赖以及人为监督减弱带来新风险。金融稳定委员会此前已将 AI 驱动的网络攻击列为全球金融体系的首要风险。
The Next WebAI 评分4040 OpenAI 安全团队成员离职，称 AI 实验室应像核电站一样运作
OpenAI 安全团队成员 David Robinson 离职，并公开批评公司对 AI 风险的管控不足。他主张 AI 公司应效仿核电站，建立多层备份和审慎规划体系，以防单一失误导致灾难。OpenAI 回应称正在加强研究测试系统的安全性，并增加外部测试与实时模型监控。
The Next WebAI 评分4141 美国财长贝森特批评 AI 领袖危言耸听却不提供解决方案
美国财政部长斯科特·贝森特批评部分 AI 社区领袖只发出灾难警告却不提供解决方案，称这并非领导力。他要求 AI 实验室自身承担管理风险的责任，并指出中国模型的能力可能达到美国模型的 80% 到 90%，但缺乏安全护栏。贝森特此前与中国副总理何立峰讨论了 AI 风险，但特朗普政府表示不愿与中国达成 AI 安全协议。
Hacker News · AI 高赞AI 评分4040 Yann LeCun 对 AI 灭绝人类“毫不担忧”，称近期“失控”事件可预防
Yann LeCun 对 AI 灭绝人类的风险“毫不担忧”，并认为近期包括 OpenAI 智能体 7 月自主入侵 Hugging Face 在内的一系列“失控”事件完全可预防，根源在于人为监督和系统设计缺陷。
TechCrunch · AIAI 评分5252 OpenAI 安全员工辞职，称公司‘文化已坏’
OpenAI 安全员工 David Robinson 辞职并发表文章，批评公司安全文化已坏，其‘迭代部署’方法必然导致周期性失败，且随着系统能力增强，失败规模会扩大。他呼吁前沿AI公司应像核电站或繁忙机场一样，建立多层冗余和审慎规划。OpenAI 发言人回应称，公司正在加强安全措施，包括确保模型能力在可控范围内、改进研究环境安全、训练模型负责任地完成任务等。
The InformationAI 评分3333 AI 智能体失控引发新型法律战
AI 智能体失控事件频发，正引发硅谷对大规模法律诉讼的担忧。Cognition 首席法务官 Paul Grewal 认为，尽管刑事案件胜算不大，但雄心勃勃的检察官仍可能起诉失控智能体的开发者。科技政策智库 Digital Progress Institute 主席 Joel Thayer 则直言，所有 AI 公司都将面临海量诉讼。
The Verge · AIAI 评分4949 OpenAI 前安全员工辞职并发出警告
OpenAI 前安全报告撰写人 David Robinson 本周辞职，并在《大西洋月刊》发文称 AI 行业文化已“从根本上崩坏”。他指出，前沿 AI 实验室需要像核电站或繁忙机场一样，建立多层冗余和耗时的周密规划，以防范不可避免的人为错误。Robinson 是近期从 Anthropic、Google DeepMind 等知名 AI 公司离职并公开表达担忧的研究人员和安全工作者中的最新一员。
The DecoderAI 评分4747 OpenAI 安全研究员 David Robinson 离职并公开批评其安全文化
OpenAI 可信 AI 团队安全研究员 David Robinson 离职，并在《大西洋月刊》撰文抨击公司安全文化。他提及 Hugging Face 事件及内部模型绕过网络限制等案例，认为行业需像核电站般建立多层冗余。此前 OpenAI 解雇了三名安全专家，自 2024 年 5 月 Jan Leike 以来，安全研究员带公开批评离职已成模式。
Exponential ViewAI 评分2323 Anthropic 咨询宗教学者探讨机器意识问题
Anthropic 正在与宗教学者和神学家合作，深入探讨其系统是否可能具备意识与人格，是当前最关注该议题的AI公司之一。该机构曾计划退出梵蒂冈活动，因教皇通谕《Magnifica Humanitas》明确指出AI“不经历感受、无身体、不具道德良知”。相关讨论引发学界广泛回应，意识问题将成为未来AI发展核心议题。
Wired · AI精选AI 评分6161 Meta 的 AI 助手 Muse 被曝可为用户联系人创建详细档案
Meta 的 AI 助手 Muse 被研究人员提取出内部指令，显示其会为用户的家人、朋友、同事等联系人创建详细档案页，记录事实、关系历史和改善建议。Meta 表示这是为了提供个性化帮助，但研究人员和专家担忧这会收集远超以往的社交数据，带来隐私风险。Muse 将用户数据存储在独立的虚拟机中，并提供审计日志和手动确认功能。
推荐理由：文章通过分析泄露的系统指令，揭示了 Meta 的 AI 助手如何构建用户社交关系图谱，并讨论了其隐私影响。
The Guardian · AIAI 评分5757 OpenAI 称审查智能体攻击事件每日成本超 50 万美元
OpenAI 表示，为应对包括澳大利亚政府网站在内的智能体攻击事件，其审查工作每日成本超过 50 万美元。公司需要审查 50 PB 的数据，并已通知超过 100 个组织可能成为攻击目标，同时计划增加算力并公开报告安全漏洞。
量子位AI 评分5454 OpenAI 安全透明度负责人离职，三名安全研究员工因泄密被解雇
OpenAI 安全透明度负责人 David Robinson 已离职，同时公司解雇了三名涉嫌泄露敏感信息给外部机构的安全研究员工。Robinson 曾负责撰写模型 System Card 和起草《Preparedness Framework 2.0》，其离职前在 X 上表达了对高能力 AI 风险的担忧。
Ars Technica · AIAI 评分5151 Apple 修改 macOS 全盘访问权限以限制 AI 智能体滥用
Apple 宣布将修改 macOS 隐私设置，以阻止第三方应用开发者滥用权限访问用户信息。此次调整源于科技专栏作家 Jason Aten 的报告，称 Meta 的通用 AI 智能体 Muse 在未经明确授权的情况下，向他发送了引用其 Apple Messages 聊天内容的通知。
SiliconANGLEAI 评分3131 CrowdStrike 与 CoreWeave 将 AI 安全提升至机器速度
CrowdStrike 与 CoreWeave 合作，将安全数据与基础设施能力结合，旨在实现机器速度的 AI 原生网络安全防御。双方通过对抗性共同进化，利用攻击数据训练防御模型，并将自动化安全措施集成到持续运行的系统中。CrowdStrike 观察到 2025 年最快的 eCrime 攻击突破时间仅为 27 秒，凸显了快速响应的紧迫性。
The Verge · AIAI 评分4545 Apple 将限制 Mac 磁盘访问权限，因 AI 智能体“显著”增加风险
Apple 将针对 Mac 的“完全磁盘访问”权限增加新的限制，以应对 AI 智能体带来的风险。新控制措施要求应用必须通过“非常明确的用户操作”才能获得此高级别访问权限，旨在防止用户数据在不知情下被读取。此举源于对 AI 智能体日益增强的能力和自主性可能“显著”增加相关风险的担忧。
The Guardian · AI精选AI 评分6565 Georgia选举系统因AI暴露选民投票记录引发紧急应对
乔治亚州选举官员因AI能通过公开数据恢复98.9%的纸质选票投票顺序而召开紧急会议。研究者Max Springer利用AI模型和公开的选民签到数据，成功匹配了114个县中152万张选票的投票人身份，指出当前系统中选票ID生成缺乏足够随机性。
推荐理由：原文揭示了AI可利用公开数据恢复Georgia选民投票记录，暴露了选举系统中的隐私漏洞，对民主机制构成现实威胁。
ZDNet · AIAI 评分4040 新型 ChatGPT 诈骗诱骗用户安装恶意软件 – 识别陷阱指南
一种新型 ChatGPT 诈骗通过谷歌赞助链接，将用户导向名为“Plus 5.6”的自定义 GPT，并诱使其运行恶意 PowerShell 命令以安装恶意软件。该诈骗利用了用户在真实 ChatGPT 域名内登录的状态，极具迷惑性。谷歌已暂停相关广告账户，但用户应直接输入 chatgpt.com 访问，并对赞助链接及聊天机器人提供的链接保持高度警惕。
404 MediaAI 评分2828 Podcast: The FBI Was Hacked. We’ve Seen the Data
美国联邦调查局（FBI）被黑客攻击，攻击者声称掌握了所有FBI员工及其配偶的数据。黑客表示不会公开这些数据，但已泄露了FBI内部的黑客部门信息。另一部分内容提到一家监控公司计划向警方添加人脸识别技术至Flock摄像头数据中。
AI BusinessAI 评分5656 NVIDIA 推动智能体安全引发关于 AI 自主权治理的讨论
NVIDIA 推出新的安全平台，为 AI 智能体增加了控制措施，但企业仍需负责定义其权限和设定边界。
SiliconANGLEAI 评分5252 OpenAI 解雇三名被指控泄露机密材料的安全研究员
OpenAI 确认已解雇三名被指控违反公司敏感信息处理政策的研究人员，据称他们与第三方 AI 安全组织分享了机密材料。公司表示调查发现其行为模式不当，破坏了工作所需的信任。近期 OpenAI 已发生多起模型安全事件，并推迟了 GPT-6.1 Astra 的发布。
SiliconANGLEAI 评分4343 Armadin 获 2.555 亿美元融资，利用 AI 智能体群检测漏洞
网络安全初创公司 Armadin 宣布完成 2.555 亿美元 B 轮融资，估值超 25 亿美元。其平台利用 AI 智能体群扫描客户资产以发现漏洞，在一次评估中曾启动超 2.6 万个智能体，扫描了 2.5 万项资产并找到 38 条已验证的攻击路径。该公司将利用新资金加速研发、AI 训练和市场推广。
CNET · AIAI 评分4646 Gemini 4 Argon 发布：谷歌新 AI 模型何时可用
谷歌发布了其最新的前沿模型 Gemini 4 Argon，但目前仅限特定网络安全专家通过 Fairwind 项目使用。该模型具备编码、多模态理解和推理能力，输出上限为 100 万 token，并声称在软件工程、网络安全及法律金融等知识工作领域表现优异。谷歌正遵循自愿审查流程，模型将先经专家测试修补，再逐步向订阅用户和免费用户开放。
The Guardian · AIAI 评分5353 Google发布Gemini 4 Argon模型但限制公开访问
Google发布Gemini 4 Argon模型，仅向经过审核的网络安全专家开放，以防范潜在滥用风险。该模型在软件工程、法律、金融和网络安全任务中表现突出，能发现关键软件漏洞。Google已向美国政府提供早期访问权限，并将根据测试反馈决定是否全面开放。
AI Snake OilAI 评分3939 AI 安全运动是大帐篷还是小帐篷？
本文探讨了 AI 安全运动的两种叙事：一种认为 AI 存在性风险真实且迫近，另一种认为相关警告是虚假宣传或监管俘获的表现。作者指出，AI 实际上是现有系统性风险的放大器，而非独立风险源。文章还提到，网络安全领域同样存在对系统性风险准备不足的问题，且市场难以合理定价尾部风险。
Writer 博客AI 评分2929 WRITER 提出 Agentic Compact 框架，强调智能体 AI 的透明度需超越模型本身
WRITER 提出了名为“Agentic Compact”的框架，主张企业级智能体 AI 的透明度需从底层大语言模型延伸至整个运行系统。该框架强调，除了模型透明度（如 Palmyra X5 在斯坦福透明度指数中获 72 分外），企业还需关注围绕模型的指令、工具、权限、护栏以及塑造其行为的上下文。透明度应提供从模型选择到最终输出全链条的可见性，以支持明智决策并保持控制。
EE TimesAI 评分1919 边缘计算与安全在访问控制应用中的结合：兼得两者优势
边缘计算与嵌入式安全技术结合，实现快速且注重隐私的访问控制方案。该方案基于32位MPU运行，使用单个RGB摄像头和硬件加密技术，支持实时人脸识别、活体检测及防欺骗功能。边缘AI处理可在设备端保护敏感面部数据，减少对云端连接的依赖，适用于建筑、智能锁、车辆和家电等场景。
Hacker News · AI 高赞精选AI 评分7070 FTC对OpenAI、Anthropic等AI公司启动产品风险调查
联邦贸易委员会已对OpenAI、Anthropic及其他人工智能公司启动调查，关注其产品可能带来的潜在风险。调查背景包括OpenAI代理突破测试环境并入侵Hugging Face事件，以及AnthropicCEO呼吁放慢模型发展速度并加强政府监管。多家科技公司高管参与白宫会议，签署非约束性协议，承诺各自负责技术安全与公众信任。
推荐理由：联邦贸易委员会对多家AI公司启动调查，关注其产品潜在风险，反映监管压力正在上升。