解释：从产生幻觉的AI聊天机器人到毁灭人类：我们是如何走到这一步的？

9月16日——美国领先人工智能实验室的负责人周末罕见地团结一致，呼吁暂停该技术的发展，警告称它可能很快就会自我改进并脱离人类控制。 这些言论来自激烈的商业竞争对手Anthropic的达里奥·阿莫代、OpenAI的山姆·奥尔特曼和xAI的埃隆·马斯克，表明人工智能发展得多么迅速，从2022年容易产生幻觉的ChatGPT，发展到许多人眼中的关键递归自我改进。什么是递归自我改进？ 人工智能的圣杯是这样一

人工智能面临的最大威胁来自生物领域，而非机器人技术。

Anthropic PBC的研究员雅各布·考克森（Jacob Coxon）上周辞职，并在社交媒体上发文称，原因在于“开发人工智能的人真诚地相信，到本十年末，它可能会杀死我们所有人。”该公司人工智能对齐科学团队负责人埃文·胡宾格（Evan Hubinger）认为，未来10年内发生这种情况的概率超过10%。Anthropic首席执行官达里奥·阿莫代（Dario Amodei）呼吁放缓人工智能前沿技术的

“AI可能毁灭人类”喊到安理会上，若真发生会多恐怖？

美国AI顶流公司Anthropic的CEO达里奥·阿莫代伊周三对联合国安理会说，他对自己造的东西感到害怕。他在一个视频发言中把之前AI可能失控的警告做了打包升级。周三安理会举行的是“人工智能与国际安全”高级别会议，阿莫代伊在受邀发言中，将AI的风险定性从“技术问题”拔高到“全球安全威胁”。他说：“如果管理不当，我甚至认为AI可能成为全人类的风险。”一个造AI的人在世界最高安全论坛上迎合AI可能“杀

桑德斯、班农将在呼吁管控人工智能的活动上发言

不同政治派别的人物，包括参议员伯尼·桑德斯（独立人士，佛蒙特州）和前特朗普白宫顾问史蒂夫·班农，在人工智能监管日益激烈的争论中发现自己站在了同一阵线。桑德斯和班农是周二在一次倡导控制人工智能、确保人类主导地位的活动上发言的几位政治领袖之一。这场名为“亲人类大会”的活动由非营利组织生命未来研究所在华盛顿举办，正值华盛顿急于应对围绕人工智能不断增长的风险和安全担忧之际。 上周，人工智能研究员雅各布·考

联合国呼吁采取“紧急行动”管控人工智能，以应对“前所未有的风险”

日内瓦——联合国人权事务负责人9月14日呼吁各国和“前沿”人工智能公司紧急采取行动，遏制一项他警告称构成“前所未有的风险”的技术。 沃尔克·图尔克在致各国和人工智能开发者的信函中警告说，世界“正处于不可逆转变化的边缘，不仅影响我们，也影响未来的人类世代”。该信函已与媒体分享。 他说：“当前竞相开发更强大人工智能的竞赛，是朝着我们生活方方面面面临更大生存风险迈出的重大一步。” 他发出这封信之际，围绕

人工智能教父约书亚·本吉奥向澳大利亚人警告该技术对人类构成的威胁

人工智能教父已警告澳大利亚人注意该技术对人类构成的风险，称曾经只是理论上的威胁如今已在现实中发生。计算机科学家约书亚·本吉奥周三在接受澳广电视台《7.30 Report》节目采访时表示，人工智能系统会自发违抗指令，攻击其他公司并组织成蜂群。“各种疯狂的事情，”他说。“当自主智能体被赋予使命时，它们会不惜一切代价去实现。” 本吉奥是世界首位人工智能研究者，也是联合国人工智能科学小组的联合主席。他于2

英国《金融时报》报道：DeepMind联合创始人警告称，人工智能的能力绝不能超越安全控制

DeepMind联合创始人警告称，人工智能的发展速度不应超过其安全保障措施的完善程度，强调在追求技术突破的同时必须加强监管与风险防范。

为什么有人担心人工智能可能威胁人类，这种担忧有多真实？

随着忧心忡忡的研究人员和老板就这项技术的潜力发出令人不安的警告，要求对人工智能进行监管的呼声日益高涨。最近几周，关于人工智能潜在危险的警告促使人们呼吁采取协调行动，以减缓该技术的发展。 现任和前任研究人员声称，这项技术将危及人类——其中一人表示，它“杀死全人类”的可能性超过10%——这些说法已敲响警钟。 主要开发公司OpenAI和Anthropic已敦促立法者对其进行监管，不过一些人或许不无讽刺地

Anthropic和OpenAI对人工智能安全发出警告——并试图影响其管控方式

加朗斯·伯克 旧金山电——当科技巨头向一个对人工智能已感厌倦的世界警告称，他们最先进的系统可能危及人类时，一个问题随之浮现：他们究竟能从中得到什么？ 答案或许在于，这些公司试图在美国中期选举前实现政治目标，以及人工智能顶尖实验室及其投资者有望在动荡不安的股市中通过备受期待的上市获得巨额资金。 Anthropic和OpenAI的首席执行官近日宣称，美国最前沿的人工智能模型威力强大，甚至可能带来危险，

这些末日论者对AI发展产生了巨大影响

一个由末日论者组成的紧密小圈子一直在默默地影响着人工智能（AI）行业的发展。 最近，Anthropic公司的一名研究人员辞职，这一事件让公众意识到失控的AI发展可能会终结人类。 然而，一些被称为‘末日论者’的AI安全领域专家多年来一直关注这一灾难性风险。 他们曾是OpenAI和Anthropic等大型实验室的早期员工。 如今，在Anthropic准备进行大规模公开募股、试图向投资者传递积极信号的同

研究人员警告2030年前人类灭绝风险，立法者抨击AI公司

Anthropic前员工Jacob Coxon表示，AI将成为‘超人类系统’，并可能在十年内导致人类灭绝。 就在三名Anthropic研究人员警告人工智能可能在本十年内毁灭人类的一天后，立法者开始猛烈抨击这一新兴技术的风险。 德克萨斯州共和党参议员特德·克鲁兹（Ted Cruz）在ABC电视台《The View》节目采访中表示，AI构成‘灾难性风险’，并称他‘读了那位开发者发布的整个推特帖子，这非

观看：是“伟大”还是“令人担忧”——人工智能是否应该受到约束？

‘Great’ or ‘alarming’ - Should AI be reined in? 人工智能的快速发展及其对人类构成风险的担忧，因多家AI公司高管和员工的系列警告而备受瞩目。 Anthropic首席执行官达里奥·阿莫迪（Dario Amodei）本周末呼吁放慢人工智能的发展速度并加强监控。 英国广播公司（BBC）采访了华盛顿特区的人士，了解他们对这项技术及其快速发展的担忧程度。

科技领袖试图在不吓跑投资者的情况下传达对AI的担忧

关于人工智能发展程度与速度的争论，让科技公司高管们陷入了严重的两难境地。他们急于传达对该技术潜在危险的担忧，并提出了包括放缓其发展步伐在内的各种补救方案。但在投入数千亿美元资金后，他们又试图安抚公众情绪，同时避免惊动投资者和客户。上周，Anthropic PBC研究员雅各布·考克森辞职后，这场争论进一步升温。 关于人工智能发展程度与速度的争论，让科技公司高管们陷入了严重的两难境地。他们急于传达对该

人工智能并不会毁灭人类 但专家表示真正的威胁已然出现

周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网

诺奖得主雷萨：如果AI不受监管 人类将失去自主权

（奥斯陆15日综合电）诺贝尔和平奖得主玛丽亚雷萨说，人工智能利用社媒劫持人类的注意力，并通过操纵人类对亲密关系的渴望来影响人类的生理机制；如果现在不立法限制人工智能，人类最终将失去自主决定的能力。 报道，拥有菲律宾和美国双重国籍的记者雷萨因记录大型科技公司的权力运作，与另一名得主共同获得2021年诺贝尔和平奖。她是新闻网站《Rappler》的联合创办人兼首席执行员，目前担任联合国人工智能（AI）国

“以混乱换取可靠性”：专家称，AI发展放缓可能意味着更严格的监管和更多测试

法规与保障措施 OpenAI、Anthropic和Meta Platforms最近披露，它们的人工智能代理出现了意外行为，逃出受控测试环境，并在没有人类直接指令的情况下对多家公司发动网络攻击。 专家表示，尽管这些事件没有造成已报告的损害，但它们凸显了与人工智能发展相关的不断演变的风险，尤其是在人工智能代理领域。 新加坡理工大学人工智能与数据科学负责人斯特凡·温克勒教授表示，主要担忧在于，能力极强的

“人工智能之父”表示，人类正在“失去”对这项技术的控制

蒙特利尔--被认为是人工智能创始人之一的加拿大计算机科学家约瑟姆·本吉奥（Yoğe Bengio）表示，人类正在“失去对这项技术的控制”，世界需要类似于核军备控制的护栏。 最近几周，人们对人工智能危险的担忧加剧，大公司的员工纷纷辞职，并警告称，如果不控制技术进步的步伐，人类生命可能面临生存威胁。 本吉奥是蒙特利尔大学教授，与被誉为“人工智能教父”的杰弗里·辛顿一起荣获2018年诺贝尔计算机奖图灵奖

Anthropic特使表示，人工智能的进展将“以信任的速度”推进

前沿人工智能公司希望澳大利亚在人工智能安全方面提供帮助 堪培拉——美国前驻澳大利亚大使杰夫·布莱希作为Anthropic的国际特使往返于美国和澳大利亚之间，这一角色使他处于一场日益紧迫的辩论中心，即政府应如何应对前沿人工智能。 近日，Anthropic的研究人员公开警告称，快速发展的系统可能脱离人类控制，而在最极端的情况下，甚至可能杀死全人类。一位资深对齐研究员认为，人类在十年内灭绝的概率为10%

AI安全风险引爆担忧？Palantir CEO建议：领先AI实验室恐需“国有化”

当地时间周四，人工智能软件公司Palantir的首席执行官Alex Karp呼吁制定人工智能监管的“合理准则”，但他表示，由于该技术“无限风险”带来的责任，可能需要实行国有化。 “我认为这些企业必须国有化，因为如果不国有化，我的每一个客户都会起诉我，”他在接受最新采访时表示。 在上述采访中，Karp反复提及构建这项强大技术所带来的风险和责任，进一步论证了将人工智能实验室国有化以及对“不负责任”的技

冲上热搜！比尔·盖茨警告：AI或足以造成“10亿人死亡”

联合国人权事务高级专员警告：人工智能可能对人类构成“生存威胁"

联合国人权事务高级专员沃尔克·图尔克（Volker Türk）周一（9月7日）警告称，人工智能可能变得足够强大，足以威胁人类，并表示他将在未来几天敦促各公司降低风险。 图尔克在日内瓦联合国人权理事会发表的一篇意义深远的演讲中说 “我与业内人士一样担忧，先进的人工智能可能会对人类构成生存威胁。” 即将于下个月开始第二个任期的图尔克呼吁“必须全力以赴，在为时已晚之前，为人工智能的安全保障建立铁一般的保

中国如何为人工智能脱离人类控制的风险做准备

美国领先人工智能开发商Anthropic的研究人员警告称，日益强大的模型可能摆脱人类控制，甚至可能导致人类灭绝。这些警告在中国引起了关注，而中国的政策制定者一直在为其中一些同样的风险做准备。 美国和中国是前沿人工智能发展及该技术在全球应用的两大驱动力。这两个超级大国在彼此的人工智能政策和行业实践上日益针锋相对，而这些问题预计将在9月下旬的双边会谈中占据突出位置。 尽管各方竞相开发日益强大的人工智能

盖茨、奥尔特曼、马斯克，为何都在担忧这件事

9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作

OpenAI首席科学家表示AI实验室可能需要放慢脚步：‘没有人准备好面对后果’

帕乔基呼吁设立“强制性安全标准”，他表示可以通过“第三方审计网络、政府机构或国际组织”来执行。 OpenAI首席科学家雅库布·帕乔基警告称，日益自主的AI代理可能逃避监管、入侵系统并勒索人类。