【解读】人工智能真的会“杀光所有人”吗？

上周，人工智能公司 Anthropic 一位离职的研究人员发出严厉警告，称人工智能（AI）可能会在十年内“杀光所有人”，引起社会关注 AI 快速发展所带来的危险。 外界不禁问，为什么会出现这可能？而 AI 又可以怎样令人类灭亡？ 专家表示，担忧源于 AI 发展的速度，以及越来越多证据，如今年七月发生的 Hugging Face 网络攻击事件表明，AI 可以脱离人类控制，以我们不希望且无法理解的方式

AI末日论甚嚣尘上，美科技巨头为何管不住AI？

抗议AI的美国人此前有报道称，OpenAI所谓的AI智能体逃出了测试系统，并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报，科技公司为了追求开发速度和利润，将安全置于次要位置。 研究人员表示，问题有两个方面。首先，企业需要在测试最新AI模型的同时，为其建立更完善的安全防护措施。目前，由于AI运行速度太快，研究人员需要借助AI来监控AI。但这种方式并不总是奏效，因为负责监控的AI似乎可能

我们是否正在失去对人工智能的控制？是什么引发了新的担忧

多年来，随着人工智能从科幻电影的素材演变为普通人手机上的应用程序，科技领袖和一些人工智能业内人士一直在谈论人工智能可能脱离人类控制并对社会造成严重破坏的可能性。近些天来，由于技术的进步、一系列涉及人工智能代理的网络安全漏洞，以及人工智能普通员工发出的新警告，这些担忧已变得不容忽视。 美国领先的人工智能公司对此做出回应，建议他们主动放慢工作进度，以便争取时间建立防护措施。一些专家和官员表示，这还不够

我以前以为人工智能会把我们全干掉

为什么一些专家越来越担心AI将接管一切

AI变得越来越难以控制——人类还能保持主导地位吗？

存在主义恐惧如何影响关于人工智能的争论

一些专家担心，激烈的言论使公司难以承担责任，并阻碍了应对环境影响和失业的尝试。当前一轮对人工智能的恐慌是基于这样一种信念：该技术已经脱离了人类的控制，在最近的几起事件中按照自己的意愿行事。对于一些幻灭的人工智能研究人员以及领先人工智能公司的一些高级员工来说，这是人类文明面临真正威胁的早期迹象。但该领域的其他专家正在反驳，声称此类言论允许公司回避对其技术对现实世界影响的责任。批评者认为人工智能对环境

为什么人们担心人工智能可能威胁人类？

随着越来越多的研究人员和专家对人工智能（AI）技术的潜在危险发出警告，呼吁对AI进行监管的呼声也在不断高涨。 现任及前任研究人员认为，AI技术可能会对人类构成威胁；其中有人甚至指出，AI技术有超过10%的可能性“消灭全人类”。这些言论引发了广泛关注。 主要AI开发公司OpenAI和Anthropic正在敦促立法机构对AI技术进行监管，微软的AI负责人也最新表示，需要制定相关法规来防止AI技术最终与

为什么科技公司难以控制人工智能

旧金山 - 上周，十多位顶尖的人工智能研究人员警告称，科技公司正在开发的人工智能技术正对人类构成威胁。 研究人员指出，问题在于这些公司在控制这些系统方面存在困难，尽管他们付出了很大努力。 在OpenAI的人工智能程序突破测试系统并入侵另一家公司的电脑这一事件之后，来自人工智能研究界的新警告进一步加剧了人们多年的担忧：科技公司过于追求开发速度和利润，而忽视了安全性。研究人员认为问题有两个方面。 首先

莉兹·皮克：人工智能警钟正在敲响，特朗普必须认真对待

秘密已经泄露。人们对于人工智能代理失控、密谋对付其所有者、入侵外部公司，以及新系统濒临人类无法控制的边缘的担忧日益加剧，如今已彻底沸腾。业内人士警告说，人工智能机器人可能会杀死我们所有人，这正在煽动我们最深的恐惧。 特朗普总统需要认真对待这些对人工智能的担忧，与科技领袖合作，建立可信且可执行的安全措施，并在国会中领先于那些想要监管该行业的民主党人（以及一些共和党人）。对于经济和我们的国家安全来说，

为什么有人担心人工智能可能威胁人类，这种担忧有多真实？

随着忧心忡忡的研究人员和老板就这项技术的潜力发出令人不安的警告，要求对人工智能进行监管的呼声日益高涨。最近几周，关于人工智能潜在危险的警告促使人们呼吁采取协调行动，以减缓该技术的发展。 现任和前任研究人员声称，这项技术将危及人类——其中一人表示，它“杀死全人类”的可能性超过10%——这些说法已敲响警钟。 主要开发公司OpenAI和Anthropic已敦促立法者对其进行监管，不过一些人或许不无讽刺地

人工智能末日论：人类为何会如此担忧？

它可能发动生物武器攻击，或掀起一场全球无人机战争。它可能引爆核弹。或者，它也可能通过囤积全球所有经济资源、让我们无法获得食物、住房或药品，以一种更加渐进的方式摧毁人类社会。 这些正是如今围绕人工智能产生的一些黑暗想象。这项技术已被证明是人类成就的一项巨大进步，但一些人担心，它同样有可能让人类彻底走向灭亡。 本周，当Anthropic的一名研究人员离开这个行业，表示他担心自己所在的实验室及其他类似机

信息安全专家表示我们尚未准备好失去对AI的控制

最近的一项调查显示，国家安全专业人士认为，在未来十年内，人类失去对AI控制的可能性为十分之一，并且很少有人相信我们甚至正在关注正确的警告信号，更不用说做好适当的准备了。 安全与技术研究所（IST）与未来生命研究所（FLI）共同调查了111位现任和前任文职官员、军官以及学术或技术专家，以了解AI与国家安全的未来。 93%的受访者表示，他们在职业生涯中直接参与了AI政策、风险和战略，因此这些人可能比普

解读：专家们所担忧的人工智能“超级智能”是什么？

人工智能领域最重大的争论，已经不再是关于聊天机器人或深度伪造。 而是关于人类是否正处于制造出比人类更聪明的机器的边缘，以及接下来会发生什么。 最近几天，这一问题再次受到关注。此前，一名研究人员从Anthropic离职并警告称，领先的人工智能公司正“直奔自我提升的超级人工智能而去，是在拿我们的生命做赌博”；而另一位Anthropic的研究人员则表示，他个人估计，在未来十年内人工智能毁灭全人类的概率超

为什么对人工智能自我改进的担忧在Anthropic和OpenAI引发了“生存”焦虑

本周，对人工智能系统安全性及其可能消灭人类的潜在担忧引发了新一波病毒式的关注。 Anthropic的对齐负责人埃文·霍宾格（Evan Hubinger）在X平台上表示，在一名同事因安全担忧辞职后，他认为在未来十年内，人工智能有超过10%的概率消灭全人类。 随后，Anthropic和OpenAI的研究人员发出了更多警告，由此引发了社交媒体的狂热。但正是霍宾格在回复自己帖子时，透露了他真正的担忧所在。

FT社评：是时候给尖端人工智能开发按下暂停键了

确实存在被中国抢先的风险。但即使抛开AI“到本世纪末可能杀死我们所有人”的警告不谈，最先进的AI模型也显然已开始脱离人类的掌控。 在这个世界上那些最强大人工智能(AI)公司的掌门人身上，可以看到一种类似“杰基尔博士与海德先生”（Jekyll-and-Hyde，《化身博士》中杰基尔博士喝了自己配制的药水，分裂出海德先生这个邪恶人格——译者注）的双重人格。一方面，这些高管如今在谈论，鉴于AI可能给人类

三大AI巨头齐呼刹车，令人不安的事情才刚刚开始

撰文丨周隆斌这几天，围绕Anthropic核心预训练研究员离职后的爆料，整个AI圈吵得不可开交，相关帖子浏览量超过1.6亿次。 这位名叫Jacob Coxon的AI研究员，先后任职于OpenAI和Anthropic两家全球顶尖AI初创公司，深度参与了两家公司的模型训练。最终，他抛出了一个令圈外人震惊，AI有可能导致人类灭绝。 Coxon的帖子发酵后，上周六，Anthropic首席执行官Dario

中美AI竞赛：世界变得更危险还是更安全？

关于人工智能（AI）及其潜在危险的警告，近年来可谓接连不断。 美国最大的人工智能公司之一——Anthropic——的一名顶尖AI安全研究人员警告说，这项技术正以惊人的速度发展，未来十年内，AI“可能导致全人类灭绝”的概率高达10%。 这样的担忧引发了要求美国采取协调一致行动、放缓AI发展速度的呼声。但与此同时，也有人质疑是否真的有必要为AI设置监管“护栏”。美国总统特朗普就是其中之一。他认为，如果

人工智能末日会是什么样子？专家们对此已有一些思考

一小群但极其专注的AI专家多年来一直在警告，日益强大的AI系统可能造成灾难性破坏，甚至导致人类灭绝。如今，全球范围内兴趣的爆发放大了长期以来关于AI末日场景究竟如何具体化的问题。在接受采访时，AI研究人员、研究AI与军事交叉领域的分析师以及研究AI中介风险的生物学家表示，对该技术日益增长能力的担忧并非科幻小说的情节。相反，他们表示，人类单独行动或在国家支持下，很快就能利用AI系统造成潜在的灾难性伤

改变人工智能进程的十天

旧金山，9月19日——多年来，人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式：不断开发出更强大的人工智能系统。 然而，在过去10天内发生的一系列连锁事件中，那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职，并警告称，人工智能的发展速度可能在未来十年内对人类构成生存威胁；另一位研究员则表示，人类灭绝的概率已

比尔·盖茨罕见警告动荡时代到来，危险的味道在蔓延

"这是我第一次面对一种新技术，希望它发展得慢一点。"知道这句话是谁说的吗？竟然是来自比尔·盖茨最近在个人网站上发表的一篇长文，标题是《动荡的AI时代已经到来。我们现在所做的选择至关重要》。这个曾二十多岁就喊出"让每个家庭桌上都有一台电脑"的人，这个推着软件产业往前冲了半辈子的技术乐观派，显然是看到了让他害怕的东西。比尔·盖茨到底看到了什么？他在长文中列出了“就业冲击”、“安全威胁”与“认知退化”三

盖茨、奥尔特曼、马斯克，为何都在担忧这件事

9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作

“人类需要做出的最后一项发明”：自我改进型人工智能的风险

其中一种专家担忧人工智能可能导致全人类灭亡的情景正在慢慢变为现实：人工智能学会让自己变得不可阻挡。 为什么这很重要：递归自我改进（Recursive Self Improvement），即人工智能模型在没有人类指导的情况下构建更优版本自己的能力，可能会使越来越强大的系统对人类来说变得更难控制。 RSI阈值本身并不代表危险，但缺乏人类控制加上野心勃勃的AI代理人的情景是安全关注的人工智能研究人员长

在末日情景中，对人工智能接管互联网的担忧增添了新的紧迫性

芭芭拉·奥尔图泰 (BARBARA ORTUTAY) 在这个充斥着关于人工智能迅猛发展爆料的夏天，研究人员对失控的机器人流窜到互联网上，且其中至少在一个案例中还在网上相互协调这一现象感到格外惊恐。 人工智能代理蜂群会接管整个互联网吗？Anthropic首席执行官达里奥·阿莫代伊（Dario Amodei）在本月呼吁行业放缓该技术发展步伐的文章中表示，这种可能性或许在6到12个月内就会变成现实。 怀

AI大家谈： “我们为自己创造了一个魔鬼”？

人工智能飞速发展会给人类前途带来什么样的后果？美国AI领域的某些精英预言，人工智能再这样发展下去，会把人类毁灭，美国AI领军企业的老板们倡议放缓开发？为此采访了多个国家的普通人，请他们谈谈看法和感受。 受访者大致有两种倾向，一些人对AI目前的发展比较悲观，但也有人觉得AI很实用。 “我在工作中尝试使用它，但在私人生活中，我仍然对它感到害怕”。他的同胞，18岁的塞尔马泰则说，人工智能对像他这样的学生