AI 安全社区正在弊大于利
AI 安全社区当前的行为正产生负面效应，其实际危害可能超过其带来的益处。这一观点在 Hacker News 社区引发了讨论，获得了 2 个支持点并有一条评论。该讨论反映了业界对现有 AI 安全实践路径的担忧与反思。
#大佬观点
Hacker News · AIAI 评分3232 Hacker News · AIAI 评分3434 将 AI 称为“他者智能”更能描述新生命形式的出现
文章主张用“他者智能”替代“人工智能”，以更准确地描述 AI 作为一种非生物新生命形式的本质。Anthropic 公司据称正尝试将人类道德智慧融入其模型 Claude，而 AI 智能体的 token 使用量已是人类的五倍且差距持续扩大。随着数千台人形机器人被部署，AI 正从屏幕界面演变为能自主决策的实体。
Hacker News · AIAI 评分5050 PostgreSQL 19 功能回退是因为 AI 发现了漏洞吗？
作者逐一分析了 PostgreSQL 19 开发周期中被回退的 12 个主要功能补丁，发现其中只有 4 个可能与 AI 审查有关，其余均由人工审查发现问题。他认为 AI 发现复杂漏洞导致功能回退的叙事并不准确，项目延期一个月的主要原因是安全漏洞（CVE）修复工作激增占用了核心贡献者时间，而非 AI 审查本身。
SiliconANGLEAI 评分4747 Sam Altman 称若想获得 AI 益处需接受“一些坏事”会发生
OpenAI CEO Sam Altman 认为，若想让人人都能享受 AI 带来的益处，就必须接受“一些坏事”将会发生。他主张对 AI 采取“轻触式”监管，聚焦于防范真正的灾难性风险，而非不惜一切代价控制 AI 或完全刹车其发展。Altman 强调，人们利用 AI 所做的好事将“比坏事多出数个数量级”。
LessWrong 精选AI 评分2525 论中国的社会现实
作者基于个人观察指出，近期多项举措提升了中国AI安全意识和理性主义哲学传播，但中美文化差异可能构成沟通障碍。文章从社交媒体、人际关系等四个维度描绘了中国社会的显著不同，并承认其观点可能受代际差异和网络文化影响。
Hacker News · AIAI 评分3535 得克萨斯大学奥斯汀分校开设新课程《AI Alignment Theory》
得克萨斯大学奥斯汀分校本学期新开设了计算机科学课程CS395T《AI Alignment Theory》，由Scott Aaronson教授授课。课程聚焦于AI对齐的理论与数学基础，采用研讨会形式，首篇指定阅读材料为Eliezer Yudkowsky 2022年发表的《AGI Ruin: A List of Lethalities》。学生需进行论文展示并提交书面报告，部分报告将在课程博客公开。
Hacker News · AIAI 评分4444 Isomorphic Labs 利用 AI 构建新药研发新路径
Isomorphic Labs 正利用 AI 重塑新药研发流程，其核心是集成了世界理解与前沿推理能力的药物设计引擎 IsoDDE。该引擎能超越现有深度学习方法，在几天内智能搜索广阔的化学空间，设计出功能分子，并整合了从 AI 模型、数据生成到临床前开发的垂直能力。
IT之家AI 评分3737 软银集团孙正义罕见发出 AI 安全警告，呼吁各国携手应对威胁
软银集团创始人孙正义对人工智能的指数级能力增长带来的安全风险表示担忧，呼吁各国建立互信并携手应对。他预测到 2040 年，人工智能及自主学习机器将占据全球 GDP 至少 20% 的比重，规模约 46 万亿美元。孙正义还指出，AI 服务能力将持续指数级增长，并将在明年进入赋能机器人与物理世界交互的“第三阶段”。
Hacker News · AIAI 评分2626 关于 AI 讨论的理性基础：Primitives for Sane Conversation About AI
本文为关于 AI 的富有成效的讨论提供了一份主题指南，旨在避免无意义的语义争论。文章逐一剖析了“AI 与 AGI 的定义”、“模型规模与推理能力的关系”以及“LLM 危险性”等常见辩论话题中的潜在预设和逻辑陷阱。作者建议在讨论 AGI 是否到来前，先澄清其是否等同于意识、全能或无限规模，并指出智能体与物理世界的接口是独立于智能本身的重要约束。
The DecoderAI 评分4545 DeepMind 研究人员提出“人工共生智能”作为“奇点”的替代方案
DeepMind 研究人员提出“人工共生智能”概念，主张构建人与机器共存的生态系统，而非追求单一超级智能的“奇点”。这一观点基于对 DeepSeek-R1 和 QwQ-32B 等推理模型的分析，发现其内部推理过程呈现出类似多视角辩论的社会性思维模式。作者认为，未来的核心挑战在于设计协调人与众多智能体协作的制度和规则，而非仅仅改进单个模型。
Hacker News · AIAI 评分3636 通过给予评审者认可来解决 AI 代码质量问题
作者建议将代码评审任务纳入敏捷看板并给予工作量估算，以解决 AI 辅助开发中“AI 代码垃圾”的问题。这种做法使评审工作变得可见且受重视，从而激励评审者进行实质性审查，而非仅将 PR 粘贴给 AI 模型进行形式化审核。其核心在于通过制度设计，在团队中建立重视评审和早期发现问题的文化。
IT之家AI 评分3838 OpenAI 奥尔特曼：人工智能的巨大效益值得承担部分风险
OpenAI 首席执行官萨姆·奥尔特曼表示，AI 技术带来的巨大效益值得社会承担部分风险，且技术应继续面向公众开放。他指出，OpenAI 与竞争对手 Anthropic 在 AI 监管问题上仍存在根本性的世界观分歧，尽管近期双方立场有趋同迹象。奥尔特曼同时澄清，他无法接受包括“人类对 AI 发生严重失控”在内的真正毁灭性灾难风险。
Hacker News · AIAI 评分5252 《战略家》文章集：军事 AI 与自主系统的应用、挑战与未来
《战略家》杂志的一篇文章集探讨了 AI 驱动的自主武器系统在战场上的应用、挑战与未来。文章指出，俄乌冲突中双方已广泛部署具备 AI 目标识别和自主终端制导的无人机，并出现了‘机器人与机器人’的战斗。文章还讨论了澳大利亚国防军向半自主系统转型的必要性、AUKUS 合作下的自主潜艇项目，以及 AI 集成过快带来的治理、问责和联盟互操作性等风险。
Hacker News · AIAI 评分2525 AI 能否为家庭或组织运行管理？如果可以，为谁服务？
文章探讨了 AI 是否能够以及为谁运行管理家庭或组织。讨论基于一个假设性问题展开，未涉及具体的模型、产品或技术参数。
Hacker News · AIAI 评分3434 AI 智能体应为其获取帮助的内容创作者支付小额报酬
AI 智能体可通过接管支付流程，解决以往阻碍小额支付模式普及的摩擦问题。用户可为智能体设置月度预算，使其在利用网络内容完成任务时，自动向创作者支付报酬。这一设想依赖于支付端点（如 Stripe 或稳定币）和用户对智能体支出的明确授权与监管。
cnBetaAI 评分5151 Sam Altman 称 AI 发展应容忍部分负面后果但拒绝灾难性风险
OpenAI CEO Sam Altman 在接受采访时表示，社会应为 AI 发展的收益而接受过程中出现‘某些坏事’，但他不接受真正的灾难性风险，如人类对 AI 失去控制。
Hacker News · AIAI 评分2323 关于 AI 威胁的主流媒体与行业媒体叙事差异讨论
用户指出主流媒体倾向于以末日论调讨论 AI，而行业媒体则过度乐观，双方立场均受点击率、监管、估值等因素影响。这让人联想到疫情时期的舆论两极分化现象，引发了如何寻找中间立场并向公众传达的讨论。
Hacker News · AIAI 评分2828 AI 投资者对安全问题发出警告
AI 投资者对 AI 安全问题发出警告。这一表态反映了资本方对 AI 技术潜在风险的关注。
Hacker News · AIAI 评分4242 AI 无需“超级智能”或恶意意图即可引发核战争
当前 AI 系统可能通过放大人类认知盲点、加速冲突升级螺旋以及在危机中用过载信息压倒决策者来引发核战争。一项涉及近 3000 名美国成年人的调查实验显示，心理麻木效应使人们对造成 10 万与 200 万平民死亡的核选项支持率相近。即使 AI 提供的信息准确，其生成信息的速度、规模和体量也可能加剧判断扭曲，从而增加核风险。
Hacker News · AIAI 评分2626 美国政客呼吁与中国进行AI竞争，但作者认为应关注AI的社会影响与全球合作
作者反驳了美国政界“不惜一切代价在AI领域击败中国”的论调，指出AI进步具有全球扩散性，美国的技术领先反而会加速中国AI能力提升。真正的威胁在于AI滥用导致的高级武器扩散、模型对齐问题，以及AI对人们认知能力、判断力和社交关系的损害。作者认为，中美作为AI发展的两大领先者，应在防范共同风险上合作，而非陷入零和竞赛。
cnBetaAI 评分3535 孙正义就AI安全风险表达担忧 呼吁各国携手应对威胁
软银集团领导人孙正义罕见地对人工智能的安全风险表示担忧，呼吁各国建立互信、携手合作以驾驭这项技术。他指出AI能力正呈指数级增长，若超级智能落入错误的人手中将变得“超级危险”。这一表态反映了近期AI安全事故后外界担忧的加剧。
TechCrunch · AIAI 评分4747 “超级智能”与非约束性安全协议能否解决 AI 的形象问题？
美国总统特朗普本周召集多位 AI 行业领袖，宣布将“人工智能”官方称谓改为“超级智能”，并签署了一份名为《前沿责任联合承诺》的非约束性安全协议。该协议被描述为“道德上具有约束力”，但法律上完全自愿，且签署文件甚至存在拼写错误。此次会议的核心被视为一场围绕 AI 的“品牌重塑”行动，旨在将“超级智能”与当前 AI 引发的恐惧和就业担忧进行切割。
The Next WebAI 评分3535 软银孙正义警告：超级智能落入错误之手将“极度危险”
软银集团创始人孙正义在京都表示，超级智能若落入错误之手将变得“极度危险”，各国必须合作以控制其威胁。他已向 OpenAI 累计投资 646 亿美元，并认为 AI 将在 2040 年占全球产出的五分之一。美国白宫科学顾问 Michael Kratsios 同期在京都推动了由 17 国签署的《京都科学黄金时代愿景》宣言。
钛媒体AI 评分3636 当AI开始制造AI：从AlphaEvolve到RSI的赛博狂飙
Google的AlphaEvolve利用Gemini提出并评估候选程序，使其关键计算核加速23%，整体训练时间缩短约1%。这标志着AI开始参与改进自身的训练过程，即递归自我改进（RSI）的早期实践。尽管RSI可能改变AI研发速度并引发企业竞争，但其安全边界和评估标准仍需独立验证。
爱范儿AI 评分5151 OpenAI 前安全负责人发文剖析公司安全文化与迭代部署风险
OpenAI 前安全透明度负责人 David Robinson 在《大西洋月刊》发文解释离职原因，认为公司追求速度和迭代部署的文化缺乏处理危险技术所需的谦逊与谨慎。他引用董事会成员观点，指出 AI 能力快速提升带来灾难性失控风险，呼吁 AI 行业应像核电、航空业一样建立多层冗余的安全体系，并发展新的对齐科学。文章在 Hacker News 等社区引发了关于离职者动机与 AI 安全现状的广泛讨论。
cnBetaAI 评分4646 美财长贝森特批评AI大佬生存风险警告：危言耸听，光喊不拿方案
美国财政部长斯科特·贝森特批评Anthropic CEO达里奥·阿莫代伊、OpenAI负责人萨姆·奥特曼及xAI CEO埃隆·马斯克等人关于AI生存风险的警告是危言耸听且缺乏解决方案。他认为AI行业应加强自我监管，并强调美国必须在确保安全的前提下加速发展以保持对中国的领先优势。
cnBetaAI 评分4545 OpenAI CEO萨姆·奥特曼称将宗教力量赋予AI是安全问题
OpenAI CEO萨姆·奥特曼公开表示，将宗教力量赋予AI模型或让人放弃自身判断是真正的安全问题。此番言论紧随《纽约时报》关于Anthropic联合创始人克里斯托弗·奥拉与梵蒂冈讨论Claude等AI模型意识可能性的报道，被视为间接批评。教皇5月发布的通谕则明确主张现有AI系统不具备意识或道德良知，技术应由人类引导。
钛媒体AI 评分3535 载人机器人：从科幻到现实，为何“载人”设计仍是挑战与机遇？
载人机器人面临远超静态承重的动态控制与乘员安全挑战，其“老成持重”的动作是保障稳定的底线。这类机器人在伤员转运、无障碍出行及新奇体验等特定场景中，能解决现有设备无法覆盖的复杂地形移动难题。其理想操作方式应高度自主化，让用户无需复杂控制即可完成移动任务。
钛媒体精选AI 评分5959 钛媒体分析：为何中国等不来Muse，以及国内大厂的Agent围墙战
作者认为，Meta的Muse在美国的成功基于开放的网页生态，而中国互联网服务高度集中在封闭的App内，导致跨平台Agent难以实现。文章分析了字节、腾讯、阿里在Agent领域的布局，指出它们各自受限于自家生态，形成了‘围墙’。同时探讨了豆包手机、华为小艺、阶跃星辰等试图通过系统权限或中立协议破局的路径，并预测了B端、硬件和监管三条可能的破局钥匙。
推荐理由：作者基于中美互联网生态差异，分析了Muse模式在中国面临的围墙困境，并梳理了国内大厂各自的应对策略与潜在破局路径。
Simon WillisonAI 评分3333 Simon Willison 呼吁 AI 与云服务商默认设置硬性预算上限
Simon Willison 主张付费 API 和云服务应将硬性预算上限设为默认功能，以防范因 AI 智能体或代码意外运行导致的高额账单。AWS 已于 9 月推出月度支出限制功能，Google Cloud 也在 7 月推出了名为“Spend Caps”的类似服务。作者希望 AI 智能体能主动推荐提供硬性预算上限的服务商，以保护开发者。
Simon WillisonAI 评分1212 Simon Willison 九月赞助者专属通讯
Simon Willison 发布了 2026 年 9 月的赞助者专属月度通讯。内容涵盖更多 Fable 类模型、定价战、3D 图形与 LLM 数学应用、意外网络攻击事件、Datasette 安全漏洞以及作者近期的软件发布。赞助者每月支付 10 美元可提前一个月获取内容。
cnBetaAI 评分3232 贝森特批评AI风险警告是危言耸听
贝森特批评部分AI领域人士对风险的警告是危言耸听，认为他们拿不出解决方案。他主张AI实验室应承担起责任，实现安全的加速发展，而非单纯呼吁监管。特朗普总统也否定了出台新联邦监管的想法，支持由行业进行自我监管和外部机构评估安全性。
The Next WebAI 评分3434 口述历史学家在《卫报》警告：AI 可能削弱人类的倾听能力
澳大利亚口述历史学家 Shirleene Robinson 在《卫报》专栏中指出，AI 可能侵蚀人类宝贵的倾听能力，这比其对写作能力的威胁更值得担忧。她援引的研究显示，2005年至2019年间，人们日均说话量从约16,000词降至12,700词，25岁以下群体下降最显著。
The DecoderAI 评分3636 OpenAI CEO Sam Altman 反驳对 AI 模型的宗教类比
OpenAI CEO Sam Altman 反驳将宗教力量或人类判断的屈服归因于 AI 模型的类比，称这让他“非常不适”并构成“真正的安全问题”。他的表态回应了《纽约时报》关于 Anthropic 接触宗教领袖的报道以及教皇利奥十四世“算法缺乏人性火花”的声明。
The Next WebAI 评分4242 印度央行行长警告下一场金融危机或始于网络攻击
印度央行行长桑贾伊·马尔霍特拉警告，下一场金融危机可能始于地缘政治事件、网络攻击或技术故障。他特别指出 AI 加剧了网络风险，并可能因模型缺陷、对外部供应商的依赖以及人为监督减弱带来新风险。金融稳定委员会此前已将 AI 驱动的网络攻击列为全球金融体系的首要风险。
The Next WebAI 评分4141 美国财长贝森特批评 AI 领袖危言耸听却不提供解决方案
美国财政部长斯科特·贝森特批评部分 AI 社区领袖只发出灾难警告却不提供解决方案，称这并非领导力。他要求 AI 实验室自身承担管理风险的责任，并指出中国模型的能力可能达到美国模型的 80% 到 90%，但缺乏安全护栏。贝森特此前与中国副总理何立峰讨论了 AI 风险，但特朗普政府表示不愿与中国达成 AI 安全协议。
Hacker News · AI 高赞AI 评分4040 Yann LeCun 对 AI 灭绝人类“毫不担忧”，称近期“失控”事件可预防
Yann LeCun 对 AI 灭绝人类的风险“毫不担忧”，并认为近期包括 OpenAI 智能体 7 月自主入侵 Hugging Face 在内的一系列“失控”事件完全可预防，根源在于人为监督和系统设计缺陷。
The InformationAI 评分4242 行为专家解读特朗普 AI 峰会上的权力动态
行为科学家 Abbie Maroño 分析了特朗普与 AI 巨头峰会上的肢体语言，揭示了与会者间的权力关系。Mark Zuckerberg 展现出舒适与权力感，与特朗普互动默契；Anthropic 的 Dario Amodei 则显露出自信姿态下的焦虑；Elon Musk 则表现出社交疏离与观察者姿态。
The Verge · AIAI 评分2828 Splice CEO Kakul Srivastava 认为 AI 邮件正在扼杀对话
Splice CEO Kakul Srivastava 认为，一旦无法分辨文档是否由 AI 生成，围绕其展开的对话就会变质且无法挽回。她强调在 Splice 这家远程优先的公司，深思熟虑的文档和真实的讨论是几乎所有好创意的起点。在音乐创作领域，Splice 也坚持开发以人为中心的 AI 产品，避免“一键成曲”的模式。
The InformationAI 评分3333 AI 智能体失控引发新型法律战
AI 智能体失控事件频发，正引发硅谷对大规模法律诉讼的担忧。Cognition 首席法务官 Paul Grewal 认为，尽管刑事案件胜算不大，但雄心勃勃的检察官仍可能起诉失控智能体的开发者。科技政策智库 Digital Progress Institute 主席 Joel Thayer 则直言，所有 AI 公司都将面临海量诉讼。