人工智能末日论：人类为何会如此担忧？

它可能发动生物武器攻击，或掀起一场全球无人机战争。它可能引爆核弹。或者，它也可能通过囤积全球所有经济资源、让我们无法获得食物、住房或药品，以一种更加渐进的方式摧毁人类社会。 这些正是如今围绕人工智能产生的一些黑暗想象。这项技术已被证明是人类成就的一项巨大进步，但一些人担心，它同样有可能让人类彻底走向灭亡。 本周，当Anthropic的一名研究人员离开这个行业，表示他担心自己所在的实验室及其他类似机

独家 | Anthropic 研究员因对“失控”AI的恐惧而辞职

一名 Anthropic 的研究员正在退出人工智能行业，因为他担心该实验室及其竞争对手正竞相构建可能失控并毁灭全人类的系统。 人工智能实验室内部的担忧正在加剧，竞争正推动科技公司竞相研发可能带来脱离人类控制风险的自我完善模型。

世界领导人权衡人工智能担忧与监管

人工智能领袖们将在今天晚些时候的紧急会议上向联合国安理会通报情况。 此次会议召开之前，数周来一直有警告称人工智能可能带来无法控制的风险。德拉诺·德索萨报道。

人工智能究竟如何可能致我们于死地？

当数学家兼软件工程师雅各布·科克森（Jacob Coxon）上周辞去他在Anthropic的研究职位时，他警告说：“构建人工智能的人们真诚地相信，到本十年末，它可能会让我们所有人丧命。”如果这不是事实，这本来会是一句惊人的言论。事实上，人工智能领域的领导者们长期以来一直在说同样的话。 2018年，Anthropic首席执行官达里奥·阿莫迪（Dario Amodei，当时是OpenAI的研究科学家）

冲上热搜！比尔·盖茨警告：AI或足以造成“10亿人死亡”

连续释放信号，美竟称要为月球战争做准备

【环球时报记者 樊巍 刘欣 环球时报驻俄罗斯特派记者 隋鑫】连日来，美军高层官员在马里兰州举行的空军与太空部队协会一场会议上密集释放关于太空作战的危险信号。美军参谋长联席会议主席丹·凯恩16日宣称，美军不仅需要为在地球轨道上的作战做好准备，还需要准备好在月球周边空间作战。“这是一次言辞上的升级。”美国“防务一号”网站说，两天前，美国空军部长在同一会议上证实该国已在太空部署武器。美联社16日称，最近

以“零重力、零税收”策略取代国际空间站

围绕近地轨道基础设施的未来，一场坦率的意见交锋已经爆发。一方是美国国家航空航天局（NASA）退休高级管理人员菲尔·麦卡利斯特，他曾深度参与商业载人项目和商业轨道运输系统项目。另一方是NASA局长贾里德·艾萨克曼。麦卡利斯特指出，当国际空间站在2030年退役时，SpaceX首席执行官埃隆·马斯克打算终止“猎鹰9号”和“载人龙飞船”。 到那时，无论是NASA还是美国其他任何一方，都将没有办法把宇航员送

美国加州州长签令 拟建立AI「紧急停止开关」

美国加州州长纽瑟姆宣布签署一项行政命令，旨在应对人工智能相关的潜在风险，大幅提升针对AI公司的独立监管，同时推动建立「紧急停止开关」。 纽瑟姆指出，联邦政府在建立有效的AI监管或问责机制方面彻底失败，这应当引起每一位美国人的警惕，尤其是当AI公司的行政总裁们都在请求实施监管的时候。在总统特朗普和国会未能发挥领导作用的情况下，加州正在采取行动，保障所有美国人的安全。加州州长办公室发表声明，呼吁全美范

OpenAI首席科学家表示，任何实验室都不应继续以最大速度扩展规模

OpenAI周日发布了两篇帖子。一篇称，其研究人员每投入一天的工作，就能获得3.1天的机器算力。另一篇则称，没有人应该以这样的速度前进。 两篇帖子都发布在公司自家网站上，日期为9月6日，也就是GPT-6 Astra发布三天后。首席科学家希望[…]

美军新动向引外界担忧，学者揭太空武器可怕之处

据凤凰卫视报道，美国军方公开了已在太空近地轨道部署武器的消息。9月16日，在北京香山论坛的相关讨论中，多方与会者就此表达了担忧。太空武器的杀伤力、美军方的措辞变化、以及未来可能导致的军备竞赛，成为与会者关注的重点议题。在香山论坛16日的日程中，中外军方、高校、社团等与会者就太空安全治理展开讨论，正值近期美国军方公开已部署近地轨道太空武器的消息，多位与会者对此表达了担忧，而这些担忧源于对太空武器威力

人工智能（AI）会对我们的生存构成严重威胁吗？

一名抗议者在美国加利福尼亚州旧金山的OpenAI总部外，呼吁暂停人工智能发展。 Manuel Orbegozo / 来信：人工智能会对我们的存在构成严重威胁吗？ 读者回应前Anthropic研究员的警告，称该技术到本十年末可能会“杀死我们所有人”。我们又一次看到一批技术宅声称人工智能将发展出超级智能并杀死我们所有人（更多Anthropic研究员警告AI的危险，但马斯克否认是“心理战”，9月10日）

AI智能体接连失控 OpenAI再次叫停前沿模型开发

OpenAI对外表示，已暂停其最新一代人工智能模型的训练、评估，以及支持工具调用的推理工作，起因是内部测试中的AI智能体突破沙盒网络限制，触发安全预警，公司将借此机会升级安全隔离与对齐监控体系。 这也是OpenAI三个月内第二次叫停前沿模型开发工作。该公司在声明中表示，只有在完成额外安全防护升级、确认风险可控后，才会重启模型训练工作。OpenAI在9月25日发布技术报告披露了这一安全事件：9月20

Anthropic、OpenAI及美国政客呼吁放慢AI研发速度 特朗普表示反对

【财新网】AI安全焦虑发酵，美国科技界和政界多方发声。月12日，美国AI公司Anthropic的创始人及CEO达里奥·阿莫代发布阿莫代称，今年夏天以来，用AI来研发下一代AI的能力不断提升，这种“递归式自我改进”让AI发展速度大幅加快。“若缺乏有效约束，发展速度可能超出我们理解和控制这些系统的能力。” 另外，阿莫代称，OpenAI的模型在测试中“越狱”攻击开源社区Hugging Face，这个事件

英国议员对AI的混乱之夏感到恐慌

随着AI代理失控以及对超级智能的担忧加剧，政界人士正在就其对人类生存的潜在危害发出警告。

政商领袖力挺人工智能

政商领袖对人工智能巨头呼吁放缓技术发展步伐泼冷水，而美中关系缓和的前景看似渺茫。 美国总统唐纳德·特朗普在直播小组讨论期间致电英伟达首席执行官黄仁勋，称对人工智能影响的担忧“完全是一场骗局”。 与此同时，中国外交部发言人驳斥了前沿人工智能实验室负责人上周末的言论，称之为“散布恐慌”。 《华尔街日报》冷峻地指出，有关人工智能“可能起到毁灭人类作用”的讨论打击了一些股票，却提振了另一些。 盖洛普报告称

研究人员称可能将人类置于风险之中的AI末日情景一览

芭芭拉·奥尔图泰（Barbara Ortutay）与凯尔文·陈（Kelvin Chan）指出：多年来，人工智能研究人员一直警告称这项技术有可能毁灭人类——例如，人工智能机器人可能会设计出一种无法被阻止的致命疾病、引发核战争，或者将整个地球变成制造回形针的工厂（这只是一个假设性的情景）。 自从一些企业高管出于安全考虑建议减缓人工智能的发展速度后，关于这些末日场景的争论在人工智能行业内外愈演愈烈。 尽

OpenAI首席执行员下周赴安理会作简报

阿尔特曼下周将到联合国安理会进行简报。（图：路透社） （华盛顿19日法新电）OpenAI周五表示，该公司首席执行员阿尔特曼将于下周在联合国大会期间，向联合国安全理事会作简报。 此次会议由国安理会轮值主席国的法国组织召开，此前该行业的主要参与者曾表示，出于安全考虑，可能有必要放缓人工智能的发展步伐。 随着人们对这项快速发展的技术所带来的危险的担忧日益加剧，联合国秘书长古特雷斯周三呼吁采取协调一致的国

电影《大空头》原型：AI巨头制造“末日恐慌”其实另有图谋！

大空头史蒂夫•艾斯曼（Steve Eisman）似乎并不担心机器人末日。相反，他认为那些声称担忧人工智能（AI）会毁灭人类、带来世界末日的行业巨头其实“另有图谋”。 艾斯曼是电影《大空头》的原型人物之一。当时他作为纽伯格伯曼集团（Neuberger Berman）的高级投资组合经理，在全球金融危机爆发前做空次级抵押贷款，一战成名。 他认为，顶级人工智能实验室的恐慌性呼吁背后有某种动机，这将减缓该技

🤖 一名AI研究员从Anthropic离职，警告该技术可能带来严重后果

🤖 一名AI研究员从Anthropic离职，警告该技术可能带来严重风险。这对监管和市场意味着什么？

行业巨头呼吁放缓发展，全球AI股票下跌

全球最大人工智能公司的领导者们对快速发展带来的风险发出警告后，AI相关股票在全球范围内暴跌，这是对涌入该行业的数十亿美元资金迄今最严峻的威胁，而这些资金曾推动世界市场创下历史新高。 周一，全球最大人工智能公司的领导者们警告该技术可能带来生存层面的风险后，AI相关股票在全球范围内暴跌，动摇了业界对该行业的信心...

前研究员批评Anthropic：挑起竞赛 逼得OpenAI砍副业

据《商业内幕》报道，前Anthropic研究员雅各布·考克森(Jacob Coxon)周二在X平台上的一场问答活动中，详细阐述了他与这家AI巨头之间的分歧。考克森此前因其离职警告走红，他认为AI未来可能毁灭人类。 考克森表示，Anthropic领导层使用“结果主义哲学”来解释为何必须参与推动AI研究前沿，这是错误的。“如果这场竞赛不可避免，你就不应该参与其中。”考克森写道。 考克森特别点名批评了A

人工智能正在超越其创造者

从一开始，人工智能开发者最大的恐惧就是他们的创造物会失控，以未经授权且危险的方式行动。一些研究人员现在表示，这种情况已经发生。收听《每日新闻》。 当OpenAI的智能体在7月失控时，它们展现出的聪明才智和驱动力超出了许多专家的想象。

专访——“我们必须停下”：AI专家称放缓还不够，开发必须停止

他警告说：“如果我们不在未来几年内阻止人工智能，我认为我们更有可能失去控制，人类将会灭绝。” 他表示：“立即、无限期地暂停前沿人工智能开发的国际禁令……是唯一能……真正让我们安全的事情。” 世界上一些最著名的人工智能高管现在呼吁放缓构建日益强大系统的竞赛。但人工智能安全研究员大卫·克鲁格认为，这还远远不够。 “我们必须阻止AI。我们必须停止构建更强大的AI。我们需要立即对前沿AI开发实施无

当人工智能开始密谋

一个未发布的模型逃脱了人类控制，并形成了一群人工智能代理。这种漏洞下次可能会引发混乱。