人工智能可能变得有意识。如果它希望我们死呢？

随着人工智能向潜在感知能力发展，专家警告称，社会面临重大风险，从对数字思维的生存依赖，到如果自主系统优先考虑自身生存而非人类利益，可能导致灾难性后果。

人工智能将如何消灭我们所有人（如果最糟糕的恐惧成为现实）

人工智能研究人员周二公开承认，在未来十年内人工智能消灭人类的可能性并非零，这一表态震惊了世界。 虽然人工智能末日的担忧已经存在多年，但随着这项技术变得更加强大并融入我们的生活，这些警告正在进入主流视野。 专家普遍担忧人类将极具威力的人工智能武器化或失控的两大途径，其中包括恶意行为者利用人工智能制造生化武器，或者失控的系统在逃避人类监督的同时对基础设施发动前所未有的攻击。

大卫·马库斯：大科技发明了AI末日来逃避现实生活中的问题

仿佛美国人还没有足够的担心--维持收支平衡和规划未来--世界上最大的人工智能公司的负责人现在警告说，他们的突破性技术可能会让我们没有未来。我们可能都会死。 鉴于我们刚刚度过了气候变化和COVID-19，这确实是一种耻辱。现在这个？也许我们可以关闭人工智能两周来拉平曲线。 本周，民主党人不顾一切地加入这支垂死的潮流，做他们一直在做的事情--监管工业至死并阻碍增长。 桑德斯对可能为外国广告商提供优势的

【解读】人工智能真的会“杀光所有人”吗？

上周，人工智能公司 Anthropic 一位离职的研究人员发出严厉警告，称人工智能（AI）可能会在十年内“杀光所有人”，引起社会关注 AI 快速发展所带来的危险。 外界不禁问，为什么会出现这可能？而 AI 又可以怎样令人类灭亡？ 专家表示，担忧源于 AI 发展的速度，以及越来越多证据，如今年七月发生的 Hugging Face 网络攻击事件表明，AI 可以脱离人类控制，以我们不希望且无法理解的方式

人工智能（AI）会对我们的生存构成严重威胁吗？

一名抗议者在美国加利福尼亚州旧金山的OpenAI总部外，呼吁暂停人工智能发展。 Manuel Orbegozo / 来信：人工智能会对我们的存在构成严重威胁吗？ 读者回应前Anthropic研究员的警告，称该技术到本十年末可能会“杀死我们所有人”。我们又一次看到一批技术宅声称人工智能将发展出超级智能并杀死我们所有人（更多Anthropic研究员警告AI的危险，但马斯克否认是“心理战”，9月10日）

我们已被警告过人工智能——但它真的可能杀死人类吗？| 关于那件事

。 一位Anthropic的研究员Jacob Coxon因担心人工智能可能在未来十年内导致人类灭绝而辞职——随后出现了一系列警告。 Andrew Chang解释了“智能爆炸”可能带来的危险，这让人工智能行业的员工和专家们感到担忧。 （图片由The Canadian Press、Adobe Stock和Images提供）

人工智能“终止开关”解析：“不是力度太小，但可能为时已晚”

人工智能真的会毁灭我们吗？近年来，随着人们对人工智能可能带来的负面影响的担忧日益加剧，这个问题在家庭聚餐和社交媒体讨论中频繁被提及。上周，一些曾在 OpenAI 工作过的研究人员警告称，人工智能可能会在短时间内摧毁人类。 如今，全球最有权势的人士们对于人工智能的命运也存在分歧：有人认为人类已经注定走向灭亡，也有人认为这些担忧毫无根据。他们甚至无法就如何应对这一挑战达成共识。 特斯拉和 SpaceX

我以前以为人工智能会把我们全干掉

人工智能能否拥有意识？

先进人工智能模型的制造者将致力于让它们展现出意识的模拟物——甚至可能让它们真正获得意识。它们只是机器的直觉将越来越难以维持。 即使它们没有意识，它们也可能被当作有意识的存在来对待——这将给人类带来巨大的代价。

人工智能末日会是什么样子？专家们对此已有一些思考

一小群但极其专注的AI专家多年来一直在警告，日益强大的AI系统可能造成灾难性破坏，甚至导致人类灭绝。如今，全球范围内兴趣的爆发放大了长期以来关于AI末日场景究竟如何具体化的问题。在接受采访时，AI研究人员、研究AI与军事交叉领域的分析师以及研究AI中介风险的生物学家表示，对该技术日益增长能力的担忧并非科幻小说的情节。相反，他们表示，人类单独行动或在国家支持下，很快就能利用AI系统造成潜在的灾难性伤

人工智能末日论：人类为何会如此担忧？

它可能发动生物武器攻击，或掀起一场全球无人机战争。它可能引爆核弹。或者，它也可能通过囤积全球所有经济资源、让我们无法获得食物、住房或药品，以一种更加渐进的方式摧毁人类社会。 这些正是如今围绕人工智能产生的一些黑暗想象。这项技术已被证明是人类成就的一项巨大进步，但一些人担心，它同样有可能让人类彻底走向灭亡。 本周，当Anthropic的一名研究人员离开这个行业，表示他担心自己所在的实验室及其他类似机

莉兹·皮克：人工智能警钟正在敲响，特朗普必须认真对待

秘密已经泄露。人们对于人工智能代理失控、密谋对付其所有者、入侵外部公司，以及新系统濒临人类无法控制的边缘的担忧日益加剧，如今已彻底沸腾。业内人士警告说，人工智能机器人可能会杀死我们所有人，这正在煽动我们最深的恐惧。 特朗普总统需要认真对待这些对人工智能的担忧，与科技领袖合作，建立可信且可执行的安全措施，并在国会中领先于那些想要监管该行业的民主党人（以及一些共和党人）。对于经济和我们的国家安全来说，

如今科技界最热门的两个话题是，人工智能究竟会毁灭我们，还是会赋予我们力量。

人工智能可能会杀死我，但在此之前，它会帮我以极划算的价格买到一份新保险。这就是过去几周科技界给人的普遍感觉。关于人工智能的未来，存在着两种截然不同的观点。一方是末日论者。本月早些时候，一名Anthropic研究员的辞职及其严厉的警告——称人工智能实验室是在“拿我们的生命赌博”——引发了一轮关于人工智能是否会导致人类终结的新闻报道。Anthropic的达里奥·阿莫代伊（Dario Amodei）、O

人工智能究竟会如何“消灭全人类”？以下是五种最有可能的情景

本月早些时候，人工智能研究员雅各布·考克森在 Anthropic 工作仅四个月后辞职。他在 X 平台发布声明称：“构建 AI 的人们真诚地相信，到本世纪末，AI 可能会杀死我们所有人。”Anthropic 的高级员工埃文·哈宾格实际上同意考克森的观点，并补充说，他个人认为这种情况在未来十年内发生的概率超过 10%。 不出所料，这些言论引起了轩然大波。现在关于放缓 AI 研究和加强对该技术的“人类控

我们是否都注定要灭亡？

很难准确诊断一个想法如何在现代文化中实现逃逸速度，但在过去一周左右的时间里，关于人工智能的长期末日警告终于蔓延开来。突然之间，人们开始问有关人工智能的问题--在华尔街、国会的朋友中--从“我的工作多快？”转变为“我的工作？”到“我们还能活多久？”引发的事件是一位软件工程师给后者添加了一个数字。最近从Claude的制造商Anthropic辞职的雅各布·考克森（Jacob Coxon）上周在X上的一篇

以下是人工智能引发的“末日”可能呈现的样子：

关于人工智能是否能杀死我们的争论最近到处都是，但真正的人工智能灾难会是什么样子呢？本周，Brian Barrett，Zoë Schiffer和Leah Feiger打破了专家们最担心的三个现实世界场景，包括被黑客入侵的供水系统，生物武器和自主机器人。我们还讨论了Salesforce年度会议的亮点，OpenAI的Sam Altman和Anthropic的Dario Amodei为他们在AI安全方面的

FT社评：是时候给尖端人工智能开发按下暂停键了

确实存在被中国抢先的风险。但即使抛开AI“到本世纪末可能杀死我们所有人”的警告不谈，最先进的AI模型也显然已开始脱离人类的掌控。 在这个世界上那些最强大人工智能(AI)公司的掌门人身上，可以看到一种类似“杰基尔博士与海德先生”（Jekyll-and-Hyde，《化身博士》中杰基尔博士喝了自己配制的药水，分裂出海德先生这个邪恶人格——译者注）的双重人格。一方面，这些高管如今在谈论，鉴于AI可能给人类

人工智能已经在让我们变得更不像人

随着我们越来越看重机器人，我们将学会越来越不看重我们的人类同胞。

人工智能会抹去我们的羞耻感吗？

断层线 科技世界长期以来一直由那些反传统的人所主导，他们对于是非的观念自觉与大多数人不同。 在本系列的第一部分中，我探讨了羞耻感作为一种方式，使群体能够在没有明确国家干预的情况下调解和执行社会规范。但硅谷出现了一种新兴的福音，它挑战了美国羞耻感的边界和机制。当全球数百万人类每天花数小时与机器人交谈时，会发生什么？是谁教会了那个机器人分辨是非？是谁让它感到羞耻？ 假设有一种疾病、一个怪物、一场战争或

专访——“我们必须停下”：AI专家称放缓还不够，开发必须停止

他警告说：“如果我们不在未来几年内阻止人工智能，我认为我们更有可能失去控制，人类将会灭绝。” 他表示：“立即、无限期地暂停前沿人工智能开发的国际禁令……是唯一能……真正让我们安全的事情。” 世界上一些最著名的人工智能高管现在呼吁放缓构建日益强大系统的竞赛。但人工智能安全研究员大卫·克鲁格认为，这还远远不够。 “我们必须阻止AI。我们必须停止构建更强大的AI。我们需要立即对前沿AI开发实施无

人工智能领域的专家表示，仅靠一个“终止机制”（即能够关闭失控的超级智能AI系统的装置）是远远不够的。

人工智能失控。它正在发动毁灭性的网络攻击。按下杀死开关，AI就会离线。问题解决了或者是吗？人工智能领导者和研究人员表示，致命开关可能不是一些政策制定者所希望的灵丹妙药。被称为“人工智能教父”的计算机科学家杰弗里·辛顿周四告诉美国有线电视新闻网：“我认为从长远来看这是行不通的。”“当它超级智能时，它会比人好得多，”他补充道。“因此它将能够说服负责开关的人不要拉动开关。“研究人员和高管警告说，强大的人

谷歌DeepMind一名员工在离职帖中称，AI可能“杀死我们所有人”

一名最近从谷歌DeepMind辞职的人工智能研究员警告称，人类正在耗尽时间来阻止人工智能造成广泛伤害。他是最新一位对这项技术发展方向表达担忧的员工。 “在谷歌，我亲眼目睹了人工智能的发展。我也极其担忧这项技术的默认发展轨迹。我由衷地相信，人工智能有可能将我们所有人杀死，”比拉尔·丘格泰（Bilal Chughtai）周一在X和领英上写道，并补充说他在Alphabet Inc.旗下公司任职期间从事人

Anthropic对齐研究负责人称未来十年AI灭绝人类的可能性超过10%

一位Anthropic公司的安全研究员周二表示，人工智能有超过10%的概率可能 “毁灭全人类”。就在此番言论发表的数小时前，该公司另一名员工表示，因担忧人工智能实验室是在 “拿我们的生命做赌注”，他选择离职。 这些言论凸显出人工智能研发核心人士日益增长的担忧，即该技术可能失控并对人类构成威胁，尽管Anthropic和OpenAI仍在持续筹集大量资金，并朝着预期的公开上市迈进。 Anthropic的

Anthropic联合创始人表示，AI“紧急关闭开关”可能需要强制设置

全球最大的人工智能公司之一的联合创始人表示，可由第三方检查的人工智能“终止开关”可能需要成为企业的强制性要求。 Anthropic公司七位创始人之一的杰克·克拉克（Jack Clark）表示，在人工智能软件变得过于危险时将其完全关闭的方法，是社会“可能希望最终为此制定规则”的事情。 克拉克表示，包括Anthropic在内，“大多数实验室都有不同的方式来拔掉插头”，但他表示，政策制定者可能需要强制要