我们已被警告过人工智能——但它真的可能杀死人类吗？| 关于那件事

。 一位Anthropic的研究员Jacob Coxon因担心人工智能可能在未来十年内导致人类灭绝而辞职——随后出现了一系列警告。 Andrew Chang解释了“智能爆炸”可能带来的危险，这让人工智能行业的员工和专家们感到担忧。 （图片由The Canadian Press、Adobe Stock和Images提供）

为什么构建最强大AI的人们如此担心它可能带来的后果？

本周Anthropic一名AI研究员的病毒式辞职，为外界对该行业正竞相构建人类无法控制的AI的指责注入了新的活力。 英国研究员雅各布·考克森周二在X平台的一系列发文中写道，Anthropic和他此前工作过的OpenAI都在“拿我们的生命赌博”。这两家公司目前拥有最强大的AI系统。 NPR的“思考这一点”栏目探讨：大型AI公司是在拿我们的生命赌博吗？ 考克森向NPR表示，他的担忧源于亲眼看到AI系统

OpenAI首席执行员下周赴安理会作简报

阿尔特曼下周将到联合国安理会进行简报。（图：路透社） （华盛顿19日法新电）OpenAI周五表示，该公司首席执行员阿尔特曼将于下周在联合国大会期间，向联合国安全理事会作简报。 此次会议由国安理会轮值主席国的法国组织召开，此前该行业的主要参与者曾表示，出于安全考虑，可能有必要放缓人工智能的发展步伐。 随着人们对这项快速发展的技术所带来的危险的担忧日益加剧，联合国秘书长古特雷斯周三呼吁采取协调一致的国

Anthropic老板呼吁放缓AI发展，奥尔特曼和马斯克表示赞同

Anthropic首席执行官达里奥·阿莫代伊周六呼吁人工智能公司放缓这项强大技术的发展，因为人们对“超级智能”计算机系统风险的担忧日益加剧。

AI护栏刻不容缓——11月把共和党人投票赶下台

你很可能轻易就错过了，但历史书——当然，前提是我们还活着来书写它们——很可能会把2026年9月12日记载为人类历史上的一个分水岭时刻。那一天，Anthropic公司首席执行官达里奥·阿莫代伊发表了一篇文章，警告失控人工智能的危险。该公司目前运营着世界上最先进的AI模型。在文中，他呼吁全球监管并放缓AI发展步伐。这是一篇严肃而深思熟虑的文章，在发展AI的竞争需求与不受约束的AI将“逃出遏制”并在现实

Axios专访：萨姆·奥尔特曼令人警醒的警钟

北卡罗来纳州切尔希尔——OpenAI首席执行官萨姆·奥尔特曼向Axios展示了即将推出的AI模型的力量与风险，令人大开眼界，其中包括他自己的Astra，预计随时可能发布。 “请相信我们，我们即将推出强大得多、多得多的模型，”奥尔特曼周三在G20创新峰会上接受Axios的玛丽亚·库里和我的采访时谨慎地说道。“下一代模型将让所有人清醒。 ……我认为，任何诚实理智的人看到正在发生的事情，都会感受到我们面

如何治理人工智能的生存风险

当前，前沿人工智能技术治理方面的瘫痪状态正在当下造成切实损害，并增加未来发生灾难的可能性。 这种瘫痪被一套危险的借口所开脱：技术发展太快，监管跟不上；企业可以自我监管；在美国与中国的竞争中，公共安全可以往后放。各国政府一直难以给予人工智能风险应有的关注。在大国竞争和行业内部军备竞赛的双重态势下，许多国家不敢单独行动。在这种背景下，每一次呼吁克制都会遇到同样的反问：如果竞争对手不肯放慢，我们为什么要

这真的是人工智能的末日，还是仅仅是“认知投降”？

在这一期节目中，我们深入探讨了本周出现的各种关于人工智能可能带来灾难性后果的警告，以及如何保护学生的大脑免受聊天机器人带来的负面影响（即聊天机器人可能对学生的认知能力造成的损害）。 过去几周里，多位科技行业的高管纷纷公开警告人工智能所带来的风险。Anthropic公司的首席执行官达里奥·阿莫迪（Dario Amodei）一直在加紧研发更加“类人”的聊天机器人，为公司的上市做准备；他在一篇文章中提出

莉兹·皮克：人工智能警钟正在敲响，特朗普必须认真对待

秘密已经泄露。人们对于人工智能代理失控、密谋对付其所有者、入侵外部公司，以及新系统濒临人类无法控制的边缘的担忧日益加剧，如今已彻底沸腾。业内人士警告说，人工智能机器人可能会杀死我们所有人，这正在煽动我们最深的恐惧。 特朗普总统需要认真对待这些对人工智能的担忧，与科技领袖合作，建立可信且可执行的安全措施，并在国会中领先于那些想要监管该行业的民主党人（以及一些共和党人）。对于经济和我们的国家安全来说，

关于人工智能的可怕警告震惊国会，但在选举前不太可能采取行动

华盛顿——2023年9月，埃隆·马斯克、马克·扎克伯格、萨姆·奥尔特曼和其他亿万富翁科技巨头聚集在国会山，与参议员们举行闭门会议，讨论马斯克所称的人工智能带来的“文明风险”。三年后，这些科技巨头都进一步加大了对人工智能的投资，而国会仍未通过任何全面的立法来约束或为这项快速发展的技术设立防护栏。尽管围绕人工智能举行了无数次委员会听证会，并成立了各种委员会和工作组来进行研究，但众议院或参议院在如何处理

李飞飞谈AI安全：不能只让开发者评估自己的系统

凤凰网科技讯月23日由独立机构和公共部门对AI进行更多监督。她认为，对于能力日益强大的AI系统，其安全评估不应完全交由开发这些系统的公司负责。 作为斯坦福大学教授、World Labs联合创始人，李飞飞周二表示，尽管AI公司的内部研究人员可以评估单个模型的能力和安全性，但这无法替代由政府、行业和学术机构共同制定的更广泛标准。 “我仍然认为，由独立机构以及学术界等公共部门制定基准非常重要。同时，行业

Lovable CEO 在收到有关 AI 安全的警告后支持放缓 AI 开发：“这样的警告值得认真对待”

“可能影响所有人的决定理应接受公众问责，”Lovable CEO Anton Osika 表示。 Lovable CEO Anton Osika 表示，AI 公司应当先证明自己能够控制强大的系统，然后再推进开发。

舒默呼吁就人工智能构成的危险举行机密简报会

Senate Democratic Leader Chuck Schumer on Monday called on the Trump administration to provide a classified briefing to all senators on the dangers posed by AI after a researcher for Anthropic warned

人工智能安全辩论

Jaan Tallinn，Anthropic最早的投资者之一，担心在人工智能时代“生存”问题。

贾安·塔林（Jaan Tallinn）上周在纽约联合国大会度过，这是他一年来长途跋涉的最新一站，旨在向企业家、投资者、政策制定者以及所有愿意倾听的人传达：人工智能可能终结人类。 作为Anthropic最早的投资者之一，塔林预计在未来几个月将从这家人工智能公司的预期首次公开募股（IPO）中赚取数十亿美元。对人工智能的担忧促使他进行投资。 在二月份从新德里的人工智能峰会前往巴黎的伦理人工智能会议的行程

Anthropic和埃森哲豪掷20亿美元搞AI安全评估

IT之家 9 月 20 日消息，人工智能实验室 Anthropic 于当地时间周五宣布，将与埃森哲开展合作，针对自身前沿人工智能模型开展独立评估；两家企业承诺，未来五年各自至少投入 10 现汇率约合 67.18 亿元人民币），搭建开展该项工作所需的配套能力。 在这项合作落地之际，AI 研发企业正承受来自监管机构、其他企业以及研究人员越来越大的压力，各方都要求企业保证高级模型具备安全性与可靠性。 近

OpenAI：人工智能能力处于“不同阶段”，需要紧迫行动

该公司最高说客认为政策窗口仍然存在。美国总统唐纳德·特朗普称人工智能担忧是“骗局”。该国一家领先的人工智能公司周二表示，希望华盛顿仍能采取行动。 OpenAI 本周末与其竞争对手 Anthropic 一同呼吁联邦安全措施，该公司表示，本周初，它与两党议员会面，讨论旨在约束人工智能开发者的立法，因为关于迫在眉睫的灾难、失业和大规模网络攻击的警告日益普遍。 模型正以惊人的速度发展，代理商的行为方式让工

英伟达黄仁勋称AI首席执行官警告末日有"别有用心"

别被那件黑色皮夹克骗了——詹森·黄（Jensen Huang）其实并不是一个悲观主义者。Nvidia的首席执行官在周日接受CBS News采访时明确表达了这一观点。他指责那些处于人工智能前沿的实验室的领导者们在警告人们“如果不加强对人工智能的监管，他们开发的产品可能会以多种方式危害人类”时并不真诚。黄说：“大家应该仔细琢磨他们的话；他们其实并不是真的希望出台更多法律，而是想摆脱现有的法律约束。”他

安理会本周开会讨论AI和国际安全问题，DeepSeek公司被曝将作通报

【文/观察者网 熊超然】9月22日，路透社援引两名知情人士独家报道称，随着各国领导人近期齐聚纽约参加第81届联合国大会，中国人工智能（AI）初创企业深度求索（DeepSeek）将与其他公司一道，在本周向联合国安理会介绍AI带来的风险情况。安理会定于9月23日开会讨论AI与国际安全问题。此前，多名AI行业的重要人物曾呼吁协同放缓日益强大的AI系统开发速度，并警告称，这些系统可能很快具备自我改进能力，

特朗普科技顾问称人工智能安全担忧是“套路” 不需要新的监管法规

美国总统唐纳德·特朗普的外部科技顾问大卫·萨克斯周三表示，公众对人工智能的担忧主要源于宣称活动和媒体报道，这与特朗普本周早些时候淡化新的人工智能监管呼声的言论相呼应。 “我们已经反复看到这种套路，这种煽动恐慌的套路，”萨克斯谈到人们对人工智能对美国社会影响的担忧时说道。 关于人工智能可能带来的潜在危险，公众的警觉正在不断上升。上周，Anthropic公司研究员雅各布·考克森表示，他已辞职，部分原因

FT社评：是时候给尖端人工智能开发按下暂停键了

确实存在被中国抢先的风险。但即使抛开AI“到本世纪末可能杀死我们所有人”的警告不谈，最先进的AI模型也显然已开始脱离人类的掌控。 在这个世界上那些最强大人工智能(AI)公司的掌门人身上，可以看到一种类似“杰基尔博士与海德先生”（Jekyll-and-Hyde，《化身博士》中杰基尔博士喝了自己配制的药水，分裂出海德先生这个邪恶人格——译者注）的双重人格。一方面，这些高管如今在谈论，鉴于AI可能给人类

两党众议院二人组欢迎业界支持其人工智能安全提案

共和党籍的两党人工智能安全立法共同提案人表示，他与OpenAI的最高游说者进行了会面，次日该公司便表态支持该法案中的一项关键条款，而这项法案在国会山一直难以取得进展。“我们讨论了采取行动的迫切需要，”加利福尼亚州众议员杰伊·奥伯诺尔特在谈及周一与OpenAI首席全球事务官克里斯·莱汉的会面时对记者表示。“他实际上是在问自己怎样才能帮上忙。所以，我们正在努力规划一条前进的道路。”奥伯诺尔特接着说，“

白宫科技顾问抨击美AI巨头：你们自己得保证产品安全 别老想着靠政府

Anthropic和OpenAI等顶尖AI公司应该自己确保产品安全，并在必要时自行放缓发展速度，而不是需要政府介入。 萨克斯表示，他赞同美国联邦贸易委员会前主席莉娜·可汗(Lina Khan)的观点。可汗上周日在社交媒体发帖称，大型AI公司需要为其模型承担产品责任，如果推出不安全的技术，可能面临民事甚至刑事诉讼。 这位白宫科技顾问还抨击了Anthropic CEO达里奥·阿莫代伊(Dario Am

白宫反问AI公司：既然你们觉得危险，为什么不自己停？

既然你们觉得危险，为什么不自己停？凤凰网科技讯 9月21日，据Business Insider报道，白宫科技政策办公室主任迈克尔·克拉齐奥斯在福克斯新闻周日节目中说，对于担心AI模型发展过快、可能不安全的公司，最简单的解决方案是自行“踩刹车”。他表示，如果企业认为自己正在开发的技术不安全，就可以停止，无需政府强制。 “有意思的是，他们谈论这些问题，谈论他们对未来可能走向有多害怕，也许他们想暂停。我