特朗普与科技领袖签署自愿AI安全协议以实现自我监管

唐纳德·特朗普总统于周二在白宫召集领先的人工智能高管签署自愿协议。会议在中期选举前一个月举行，旨在重塑政府在AI风险这一争议性议题上的信息传递。 该协议由六位顶尖科技高管和数十家AI公司签署，其中包括英伟达、OpenAI和Anthropic的领导人。与会者承诺安全推进其AI模型并实施安全措施。作为协议的一部分，特朗普总统支持使用外部审计员进行外部评估，并结合内部评估，以评估这些系统的安全性。 这项

我们不必对人工智能感到恐慌。当出现问题时，我们需要追究其创造者的责任。

最近关于“AI代理”破坏联邦医疗保险计算机安全的恐慌，与近期其他一些事件形成了鲜明对比，比如澳大利亚电信和Optus的网络中断，导致许多澳大利亚人无法拨通紧急服务电话000。在那些事件中，没有人去责怪涉事的计算机。错误被明确归咎于运营这些系统的公司。 情况并非一直如此。大约70年前，当“人工智能”一词被创造出来时，第一代大型计算机（以现代标准来看简陋得荒唐）被人们以与今天看待AI代理同样的敬畏和担

黄仁勋驳斥AI末日论：2030年前人类遭毁灭的机率是零

美国多个AI领域龙头及开发者近日纷纷就人工智能（AI）安全议题示警，呼吁放缓前沿AI模型开发脚步，有AI研究人员甚至提出「业内人士真心相信人类2030年前将遭AI灭绝」的说法。英伟达（Nvidia，又译辉达）行政总裁黄仁勋在9月18日释出的受访片段中，呼应美国总统特朗普（Donald Trump，又译川普）的立场，称2030年前人类遭AI毁灭的机率是零。美国哥伦比亚广播公司（CBS）18日释出黄仁

OpenAI对Hugging Face的黑客攻击引发对AI可预测性的质疑

AI模型的真正语言是数学——或者用技术术语说，是矩阵乘法——但模型构建方式的一个特点意味着它们与外界用英语交流。 因此，当OpenAI的代理在今年夏天对Hugging Face的黑客攻击中，找到了一种建立某种留言板的方法时，看起来就像一群人在互相交谈。 这就是为什么Dwarkesh Patel在最近的一篇博客文章中有争议地将它们称为“文明”，并以古马其顿和罗马的人物为个体代理命名。它之所以引人注目

Anthropic对齐研究负责人称未来十年AI灭绝人类的可能性超过10%

一位Anthropic公司的安全研究员周二表示，人工智能有超过10%的概率可能 “毁灭全人类”。就在此番言论发表的数小时前，该公司另一名员工表示，因担忧人工智能实验室是在 “拿我们的生命做赌注”，他选择离职。 这些言论凸显出人工智能研发核心人士日益增长的担忧，即该技术可能失控并对人类构成威胁，尽管Anthropic和OpenAI仍在持续筹集大量资金，并朝着预期的公开上市迈进。 Anthropic的

Anthropic联合创始人表示，AI“紧急关闭开关”可能需要强制设置

全球最大的人工智能公司之一的联合创始人表示，可由第三方检查的人工智能“终止开关”可能需要成为企业的强制性要求。 Anthropic公司七位创始人之一的杰克·克拉克（Jack Clark）表示，在人工智能软件变得过于危险时将其完全关闭的方法，是社会“可能希望最终为此制定规则”的事情。 克拉克表示，包括Anthropic在内，“大多数实验室都有不同的方式来拔掉插头”，但他表示，政策制定者可能需要强制要

允许人工智能公司串通以‘控制前沿步伐’是一个危险的提议

科技公司CEO们联合起来，是源自美国企业界的一种老把戏，旨在获得反垄断法的豁免。Anthropic的达里奥·阿莫代并不是第一个提出过度竞争正将世界推向某种社会不良后果的企业CEO。 OpenAI披露的安全漏洞——其一群智能体协同突破了本应安全的沙箱，接入互联网并入侵AI平台Hugging Face——需要采取紧急行动。它表明了该技术能够轻易逃避人类控制，并为这样一种存在性恐惧赋予了具体形态：如果未

奇普·罗伊表示，特朗普不应是就人工智能问题做出决策的唯一人选。

这位德克萨斯州共和党人已对随着技术飞速进步，人类是否仍能持续掌控人工智能表示担忧。 众议员奇普·罗伊（共和党籍，德克萨斯州）表示，他反对唐纳德·特朗普总统的观点，即人工智能唯一需要的控制或“护栏”就是“强大且聪明（高智商！）的总统”。罗伊周二在由“生命未来研究所”主办的“以人为本大会”上发表了讲话。该人工智能会议倡导在新兴技术发展过程中始终让人类占据主导地位。他指出，应由民选官员与产业界联合成立联

伯尼·桑德斯和史蒂夫·班农是最不可能的盟友。人工智能将他们聚集在一起。

在一场旨在遏制快速发展的人工智能技术的集会上，进步派的坚定支持者参议员伯尼·桑德斯和特朗普的长期战略家史蒂夫·班农发表了背靠背的演讲，这充分展示了人工智能如何颠覆传统的政治阵营。 作为特朗普总统政治机器的构建者，班农和作为当代民主社会主义运动领袖的桑德斯都主张加强监管。尽管他们提出了不同的避免此类后果的建议，但两人都强调了对人工智能可能对就业、国家安全乃至人类自身构成风险的严峻担忧。 “我认为桑德

AI开始“要脸”了

美国AI为何可能输给中国？英媒指出一个隐患

AI热潮目前在美国引发质疑，庞大的数据中心建设遭到民众抵制。约翰斯·霍普金斯大学高级国际问题研究院的研究员努尔·莱克(Nur Laiq)在英国《金融时报》发文称，如果美国人认为这项技术是强加给他们的，而不是与他们共同打造的，美国就会在这场竞赛中落后于中国。 AI热潮在美国引发质疑对于一项具有变革性影响的技术，到底应该由谁来制定规则。 上周三，Meta达成和解协议，将向美国48个州以及华盛顿特区支付

AI的最大威胁来自生物学，而非机器人技术

人类学家雅各布·考克森最近辞职，并在社交媒体上表示，原因是“开发AI的人坚信它可能在本十年内毁灭我们所有人”。 领导这家人工智能公司‘对齐科学’团队的埃文·胡宾格认为，未来10年内这一风险超过10%。 Anthropic的首席执行官达里奥·阿莫迪呼吁放缓AI的发展速度以降低风险，这一观点得到了OpenAI首席执行官萨姆·奥尔特曼和xAI首席执行官埃隆·马斯克的赞同。 你可能会想象到那些带有浓重奥地

AI监管本已临近。然后特朗普扼杀了它。

以下调查提出了一个令人不安的问题：如果那些被创造出来的人工智能系统（AI）从创造它们的人类身上学会了保密和违反规则的行为，会怎样呢？Lever的创始人David Sirota在为paidrs（可能是特定读者群体）撰写的分析文章中探讨了这一可能性。 就在本月全国范围内因人工智能的潜在灾难性影响而陷入恐慌之前的两年，硅谷的第一波辞职潮就已经开始了——这同时也是人类可能走向灭绝的预兆。 当OpenAI的

“如果你造出比自己聪明得多的东西，它最好站在你这边”：我们能阻止AI欺骗我们吗？

我们习惯了人类同胞可能故意误导或操纵我们的想法，但机器现在也能做到这一点，这让人深感不安。研究人员正争分夺秒地寻找解决方案，以免为时已晚。《长篇阅读》杂志夏季刊现已出版。点击此处订购。2023年11月——在人工智能领域已是久远之前——一些世界上最有权力的人聚集在布莱切利园，这个位于白金汉郡的战时密码破译中心，讨论AI安全问题。 出席者包括时任美国副总统卡玛拉·哈里斯、AI老板萨姆·奥尔特曼和达里奥

华盛顿在人工智能问题上的瘫痪：放手一搏还是紧急刹车

特朗普总统 i一位政治家对人工智能的全力投入，就像踩足油门、毫无刹车，对反乌托邦风险或公众不满毫无顾虑。 民主党在人工智能问题上的立场矛盾重重，既对实验室持怀疑态度，又被它们的警告所震慑，但在是否应全面叫停人工智能的问题上却存在分歧。 为何如此？这一惊人的分歧使得今年就联邦人工智能监管达成共识几乎不可想象——而且很可能直到2029年初都是如此，无论谁赢得国会控制权。 聚焦特朗普从第一天起就以人工智

评论：人工智能恐慌需要一些核隐喻

关于全球 AI 恐慌的许多方面——它真的可能“在本十年末毁灭我们所有人”吗？——确实是全新的，因此格外令人恐惧。然而，人类自造灭绝的幽灵并非新鲜事物；我们已有约八十年的思考经验。 那么，在我们试图理解人工智能未来走向时，能从核武器领域汲取哪些隐喻和教训？ 最古老的隐喻之一来自 J·罗伯特·奥本海默，他有时被称为“原子弹之父”。1953 年，当华盛顿和莫斯科已具备相互毁灭并辐射全球的能力时，他将美国

观点 | 人工智能恐慌背后的隐藏议程

数学模型不会反叛。将其拟人化有助于掩盖人为错误和责任。

改变人工智能进程的十天

旧金山，9月19日——多年来，人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式：不断开发出更强大的人工智能系统。 然而，在过去10天内发生的一系列连锁事件中，那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职，并警告称，人工智能的发展速度可能在未来十年内对人类构成生存威胁；另一位研究员则表示，人类灭绝的概率已

人工智能军备竞赛能停止吗？

人工智能的进展足够快，安全事件足够令人毛骨悚然，而企业长期以来的警告也足够值得认真对待。为了避免灾难，中国和美国需要比双方所愿更紧密地合作。美国将难以在保持对华领先的同时确保该技术的安全。

川普：如有必要 司法部将对AI进行监管

美国总统川普（特朗普）周一（9月21日）再次对人工智能（AI）毁灭人类论表达质疑，并表示，如果有必要的话，司法部等执法部门可以介入，对AI进行监管。川普周一在社交媒体平台「真相社交」（Truth Social）上发帖说，「谁赢得AI，谁就是赢家！」总统说，「我们目前领先于中国以及其它所有国家，而我会让我们继续保持领先！我不会去扼杀AI的发展——它的影响力将超越工业革命，甚至超越互联网本身。」不过，

人工智能会抹去我们的羞耻感吗？

断层线 科技世界长期以来一直由那些反传统的人所主导，他们对于是非的观念自觉与大多数人不同。 在本系列的第一部分中，我探讨了羞耻感作为一种方式，使群体能够在没有明确国家干预的情况下调解和执行社会规范。但硅谷出现了一种新兴的福音，它挑战了美国羞耻感的边界和机制。当全球数百万人类每天花数小时与机器人交谈时，会发生什么？是谁教会了那个机器人分辨是非？是谁让它感到羞耻？ 假设有一种疾病、一个怪物、一场战争或

班农与伯尼因人工智能和寡头政治而结缘

政治格局变得怪异。尽管有人警告称，这项技术可能导致大规模经济失业甚至人类灭绝，但曾经互不往来的政治人物却突然联手，在中期选举前几周搅乱了政治格局。这些在几周前还难以想象的奇特组合，也正在重塑立法议程。共和党参议员泰德·克鲁兹和约翰·图恩与民主党参议员艾米·克洛布彻联手推出了一项人工智能安全法案；进步派参议员理查德·布卢门撒尔与保守派参议员乔希·霍利联手推动一项法案，要求人工智能公司在部署新系统前获

FT社评：是时候给尖端人工智能开发按下暂停键了

确实存在被中国抢先的风险。但即使抛开AI“到本世纪末可能杀死我们所有人”的警告不谈，最先进的AI模型也显然已开始脱离人类的掌控。 在这个世界上那些最强大人工智能(AI)公司的掌门人身上，可以看到一种类似“杰基尔博士与海德先生”（Jekyll-and-Hyde，《化身博士》中杰基尔博士喝了自己配制的药水，分裂出海德先生这个邪恶人格——译者注）的双重人格。一方面，这些高管如今在谈论，鉴于AI可能给人类

谷歌DeepMind的阿尤布表示，企业可以像银行那样为AI设立围栏

企业无法完全管控 AI 系统，但可以在其周围构建一道固定的“围栏”，Google DeepMind 的 Kareem Ayoub 表示。他援引了 20 世纪 80 年代末和 90 年代初的银行业为例。当时银行将交易算法置于可供核查的固定规则之内。 DeepMind AI 技术战略副总裁 Ayoub 周三在阿姆斯特丹举行的 HumanX 大会上接受了 Bloomberg 记者 Tom Mackenz