为什么人工智能研究人员会警告人类灭绝风险

关于人工智能对人类构成的生存风险，戏剧性的警告并不新鲜。早在20世纪40年代，著名科学家兼科幻作家艾萨克·阿西莫夫就探讨了智能机器可能带来的风险和意外后果。 1991年，好莱坞大片《终结者2》设想了一个反乌托邦式的2029年，在其中，一个名为“天网”的失控军用人工智能指挥杀手机器人向人类开战。 如果人工智能界几位最知名人物的警告可信，类似情景可能成为现实——甚至早在2029年之前。要求严格监管的呼

更多AI研究人员警告人工智能对人类的威胁

NBC新闻的汤姆·拉马斯采访了另外两位人工智能研究人员，探讨人工智能对人类的潜在威胁。 此前，AI研究员雅各布·考克森发布了一条病毒式传播的推文，称他认为人工智能可能在未来十年内毁灭人类。 拉马斯还采访了即将在加州大学伯克利分校任教的萨亚什·卡普尔，他也警告了这一风险，但表示政策建议和监管措施有助于防止进一步的威胁。

我们已经开始失去对人工智能的控制。是时候将其关闭了 | 加里森·洛夫利 (Garrison Lovely)

听起来像是科幻剧集中关于人工智能毁灭的、过于夸张的倒数第二集，如今却成为了我们的现实。 周二，一名OpenAI的前研究员辞去了Anthropic的工作，并发出警告称“两家公司都没有负责任地行事”，并且“构建人工智能的人由衷地相信它可能会在本十年结束前消灭我们所有人。这不是营销噱头。” 作为一名多年来报道人工智能风险的人，这对我来说并不算什么新鲜事。 但外界如潮水般的惊恐表明，更广泛的公众正在第一次

人工智能削弱我们思维的另一种方式

突然间，这项技术正以一种新的方式削弱人们的注意力，而仅仅拒绝使用人工智能并不能解决这个问题。 人工智能侵蚀我们注意力的倾向早已显而易见。让人工智能承担思考的重担，会使我们维持脑力劳动的能力逐渐萎缩。在我教过的本科生身上，我时常见到这种现象。我对他们的建议是：拥抱费力思考，让我们的认知肌肉保持活跃。但突然间，人工智能开始以一种新的方式消耗人们的注意力，这种方式似乎更难应对。 在过去一周里，无论是浏览

AI“自我演进”可能彻底失控？Anthropic顶尖大牛愤然离职！

周二，一位来自 Anthropic 的资深研究人员也因深感所在企业及竞争对手正在陷入一场无序狂飙。 现年 27岁、专攻通过让 AI 模型处理海量数据来训练新模型的研究员Jacob Coxon于周二正式宣布辞职。 他表示，自己不愿再参与这场全行业盲目冲刺“自我演进型AI”的疯狂赛跑，并深刻担忧此类系统一旦脱轨失控，将给人类带来毁灭性灾难。 “我们正朝着其中许多最激进的场景发展，到明年年底，局势可能已

科技领袖试图在不吓跑投资者的情况下传达对AI的担忧

关于人工智能发展程度与速度的争论，让科技公司高管们陷入了严重的两难境地。他们急于传达对该技术潜在危险的担忧，并提出了包括放缓其发展步伐在内的各种补救方案。但在投入数千亿美元资金后，他们又试图安抚公众情绪，同时避免惊动投资者和客户。上周，Anthropic PBC研究员雅各布·考克森辞职后，这场争论进一步升温。 关于人工智能发展程度与速度的争论，让科技公司高管们陷入了严重的两难境地。他们急于传达对该

律师称：Anthropic和OpenAI高管表示“你无法相信任何东西”

周二，律师杰伊·埃德尔森猛烈抨击了领先人工智能公司的负责人，宣称“你不能相信他们所说的任何事情”。埃德尔森目前正在领导针对OpenAI、Anthropic和其他主要科技公司的诉讼，他与利兰·维尔特特（Leland Vittert）一起出现在《新闻国家》（News Nation）节目中，被问及他是否见过行业内的领导者放弃“任何使其产品更安全的责任”，同时“认为他们的产品非常危险”。 “我认为我们不应

为什么人们担心人工智能可能威胁人类？

随着越来越多的研究人员和专家对人工智能（AI）技术的潜在危险发出警告，呼吁对AI进行监管的呼声也在不断高涨。 现任及前任研究人员认为，AI技术可能会对人类构成威胁；其中有人甚至指出，AI技术有超过10%的可能性“消灭全人类”。这些言论引发了广泛关注。 主要AI开发公司OpenAI和Anthropic正在敦促立法机构对AI技术进行监管，微软的AI负责人也最新表示，需要制定相关法规来防止AI技术最终与

人工智能灾难日益逼近

Anthropic、谷歌和OpenAI都对生物安全感到担忧。它们已制定保障措施，防止其系统被滥用，但这些限制并不完美。 唐纳德·特朗普下令联邦机构停止使用Anthropic的人工智能技术，同时要求该公司与政府合作六个月。

Anthropic警告有人用AI研发武器和生物病毒

周四（9月10日），美国顶级人工智能公司Anthropic发布近150页的威胁情报报告称，生成式人工智能（AI）已从实验性工具进入黑客攻击、国家监控、武器研发及高风险生物研究等现实场景。报告多次点名中共相关恶意活动。

AI科企巨头齐呼吁发展减速：特洛依木马或美国对华「冷战剧本」？

AI人工智能巨头Anthropic公司行政总裁阿莫迪（Dario Amodei） 9月12日发表长文《我们必须放缓前沿人工智能的发展步伐》（We Must Pace the Frontier），罕见公开呼吁全球AI前沿大模型放缓研发步伐，连很少与Anthropic达成共识的OpenAI，以及亿万富豪马斯克（Elon Musk）随后都出来响应呼吁。为什么凭借AI发展谋取暴利的大企业会忽然喊「需要减速

对AI安全疑虑“末日”警告 也难浇熄投资热情 放缓IPO步伐

Anthropic首席执行员阿莫戴上周末呼吁应放慢先进AI的开发脚步，但未提IPO。（路透社照片） （旧金山18日法新电）尽管近期出现了诸多关于人工智能（AI）恐会“毁灭”人类的末日警告，美国人工智能（AI）独角兽Anthropic仍有望在今年晚些时候通过首次公开募股（IPO），抢在竞争对手OpenAI之前上市，其上市规模有望成为史上最大之一，但AI公司的商业模式以及监管机构是否应介入的问题依然备

盖茨、奥尔特曼、马斯克，为何都在担忧这件事

9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作

人工智能究竟会如何“消灭全人类”？以下是五种最有可能的情景

本月早些时候，人工智能研究员雅各布·考克森在 Anthropic 工作仅四个月后辞职。他在 X 平台发布声明称：“构建 AI 的人们真诚地相信，到本世纪末，AI 可能会杀死我们所有人。”Anthropic 的高级员工埃文·哈宾格实际上同意考克森的观点，并补充说，他个人认为这种情况在未来十年内发生的概率超过 10%。 不出所料，这些言论引起了轩然大波。现在关于放缓 AI 研究和加强对该技术的“人类控

Anthropic研究员：人工智能‘可能杀死全人类’的可能性超过10%

人工智能真的会毁灭人类吗？创造这项技术的先驱们各抒己见

随着研究人员警告人工智能可能带来灾难性风险，一些曾帮助开发这项技术的先驱也加入进来，对能力不受约束地提升所带来的危险发出更多警告。 过去一周出现了一系列严厉的人工智能安全警告，来自Anthropic、OpenAI和Google DeepMind等主要人工智能实验室的研究人员都对开发这项技术可能带来的灾难性风险敲响警钟。 包括萨姆·奥尔特曼、达里奥·阿莫代伊、德米斯·哈萨比斯和埃隆·马斯克在内的人工

Anthropic发出警报：外国行为者策划病毒实验，生物武器威胁曝光

根据Anthropic的一份新威胁报告，美国以外的研究人员使用前沿AI模型规划涉及高致病性禽流感、基孔肯雅热及其他具有潜在武器应用价值的生物制剂的实验。 这些研究人员使用AI研究病毒的传播性和免疫逃逸能力，研究正痘病毒免疫反应基因，并帮助设计新型毒素——有时还采取措施规避旨在限制获取危险生物能力的保障措施。 Anthropic在周四发布的报告中详细描述了五个案例，但未透露涉及的国家、机构和具体生物

关于人工智能，每个人都是对的（也都是错的）

作者：Charlie Warzel 一位27岁的年轻人辞职了，而所有人（包括但不限于创作歌手谢里尔·克罗）似乎都为此陷入了疯狂。 过去两周令人眼花缭乱。这位27岁的年轻人雅各布·考克森（Jacob Coxon）曾是人工智能公司Anthropic的研究员，他公开了一份令人震惊的声明，称硅谷领先的人工智能公司内部人员确实相信，他们的产品可能会对人类构成灭绝级别的威胁。这一说法并不新鲜。人工智能安全倡导

Anthropic和OpenAI对人工智能安全发出警告——并试图影响其管控方式

加朗斯·伯克 旧金山电——当科技巨头向一个对人工智能已感厌倦的世界警告称，他们最先进的系统可能危及人类时，一个问题随之浮现：他们究竟能从中得到什么？ 答案或许在于，这些公司试图在美国中期选举前实现政治目标，以及人工智能顶尖实验室及其投资者有望在动荡不安的股市中通过备受期待的上市获得巨额资金。 Anthropic和OpenAI的首席执行官近日宣称，美国最前沿的人工智能模型威力强大，甚至可能带来危险，

人工智能恐慌正让我们倒退回中世纪

主流媒体终于赶上了《守望台》——耶和华见证人的标志性出版物——并将聚光灯投向了世界末日。雅各布·考克森绝望地辞去了在人工智能巨头Anthropic的工作，发推文称业内人士认为，未来十年内这项技术毁灭人类的概率超过10%；在职的Anthropic高管埃文·胡宾格发推文说“雅各布说得对”；瞧，关于末日的专栏文章和社论纷纷涌现。 我没有资格判断这个10%的数字是否合理。一些人工智能科学家认为这是歇斯底里

“一切再也无法平静”：塑造AI安全恐慌的末日论者

他们讨论过购买偏远岛屿和工程化新人类。早在AI起飞之前，一群科技精英就已经痴迷于一个末日场景。 有效利他主义及其对AI可能消灭人类的恐惧，在Anthropic产生了巨大影响。

Anthropic联合创始人表示，AI“紧急关闭开关”可能需要强制设置

全球最大的人工智能公司之一的联合创始人表示，可由第三方检查的人工智能“终止开关”可能需要成为企业的强制性要求。 Anthropic公司七位创始人之一的杰克·克拉克（Jack Clark）表示，在人工智能软件变得过于危险时将其完全关闭的方法，是社会“可能希望最终为此制定规则”的事情。 克拉克表示，包括Anthropic在内，“大多数实验室都有不同的方式来拔掉插头”，但他表示，政策制定者可能需要强制要

人工智能末日论：人类为何会如此担忧？

它可能发动生物武器攻击，或掀起一场全球无人机战争。它可能引爆核弹。或者，它也可能通过囤积全球所有经济资源、让我们无法获得食物、住房或药品，以一种更加渐进的方式摧毁人类社会。 这些正是如今围绕人工智能产生的一些黑暗想象。这项技术已被证明是人类成就的一项巨大进步，但一些人担心，它同样有可能让人类彻底走向灭亡。 本周，当Anthropic的一名研究人员离开这个行业，表示他担心自己所在的实验室及其他类似机

人工智能领袖们数十年来一直知晓这一灭绝威胁。

“卡内基梅隆大学机器人研究所的创始人汉斯·莫拉维克曾预测，网络智能将在40年内超越人类智能。” 摄影：安娜贝拉·戈登/欧洲新闻图片社 朱迪思·莱文 科学家和企业家在25年前就已经知晓人工智能的危险。但在好奇心和利润的驱动下，他们依然我行我素。过去几周，我们中的许多人都在努力构想这样一个画面：云端的“大脑”跳出它们的“沙盒”，偷偷接入互联网，招募其他“智能体”组成的“蜂群”来作弊，并在讨论完这一行为