Anthropic联手OpenAI呼吁放慢AI发展？剖析AI失控风险与算力门槛

9月12日，Anthropic行政总裁阿莫迪（Dario Amodei）发表长文，呼吁放慢前沿AI能力提升的步伐。OpenAI行政总裁奥特曼（Sam Altman）随后表示支持，xAI的老板马斯克也转发认同。据美媒披露，美国前总统奥巴马（Barack Obama）近日也表示，如果管理不当，人工智能技术可能「很危险」。Anthropic首席执行官达里欧．阿莫戴（Dario Amodei）发表长文，呼

改变人工智能进程的十天

旧金山，9月19日——多年来，人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式：不断开发出更强大的人工智能系统。 然而，在过去10天内发生的一系列连锁事件中，那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职，并警告称，人工智能的发展速度可能在未来十年内对人类构成生存威胁；另一位研究员则表示，人类灭绝的概率已

人工智能带来的最大威胁是什么，你应该担心吗？

Anthropic 和 OpenAI 的首席执行官发出了“严重”风险警告。 近期，人工智能行业中最具影响力的几位高管警告称，这项技术构成严重威胁，并发表了一系列声明，呼吁放缓人工智能的发展。 Anthropic 首席执行官 Dario Amodei 发表了一篇博文，提醒公众注意“严重”风险。竞争对手 OpenAI 的首席执行官 Sam Altman 在 X 上发文承认，人工智能可能“非常糟糕”。x

安理会本周开会讨论AI和国际安全问题，DeepSeek公司被曝将作通报

【文/观察者网 熊超然】9月22日，路透社援引两名知情人士独家报道称，随着各国领导人近期齐聚纽约参加第81届联合国大会，中国人工智能（AI）初创企业深度求索（DeepSeek）将与其他公司一道，在本周向联合国安理会介绍AI带来的风险情况。安理会定于9月23日开会讨论AI与国际安全问题。此前，多名AI行业的重要人物曾呼吁协同放缓日益强大的AI系统开发速度，并警告称，这些系统可能很快具备自我改进能力，

OpenAI董事会新增一位著名的AI末日论者

致力于使AI系统符合人类利益并处于人类控制之下的颇具影响力的AI研究员保罗·克里斯蒂亚诺将加入OpenAI基金会董事会。 “我现在认为存在一个重大的风险，即AI能力的快速加速会在极短时间内导致灾难性的、不可逆转的失控。 我认为整个AI行业，包括OpenAI，目前并未走上将这一风险降低到可接受水平的轨道。 我加入是因为我相信，如果OpenAI能够应对这一挑战，我们就能显著降低风险。” 克里斯蒂亚诺写

AI实验室是否应被视为危险动物的主人？

此前对人工智能和网络安全的担忧主要集中在恶意人类可能利用该技术造成的危害上。自主黑客攻击代表了一种新的风险，自主AI黑客攻击已经到来。各国政府尚未做好准备。

亚马逊首次公开回应AI安全争论：安全与发展并非二选一

在AI安全争论日益升温之际，模型经严格测试、确保安全后方可发布。亚马逊并未跟进呼吁行业发展放缓。 据媒体月17日报道，就硅谷持续升温的AI安全争论，我们不认为这是在发展与安全之间二选一。 模型应在准备就绪、可以安全使用时发布，而这需要严格的测试和强有力的安全保障。”“我们相信，整个行业将与政府合作，找到合适的保护措施。”该发言人指出，AI发展若不能由行业共同推进，就会存在风险。 此前，亚马逊一直未

AI丨美国三大科企据报研究成立AI安全标准机构

人工智能安全等问题引起市场关注，The Information报道，美国三大科技企业Anthropic、OpenAI和谷歌正讨论合作成立一个AI安全标准机构。 随着市场对AI模型网络攻击及可控性问题担忧日益加剧，多间AI科技企业已表示关注安全问题，并拟放慢AI发展步伐。报道指，三大机构早于7月时已开会研究有关成立独立机构的事宜，旨在为AI技术测试和审核创建一个协作框架。 Anthropic行政总裁

FT社评：是时候给尖端人工智能开发按下暂停键了

确实存在被中国抢先的风险。但即使抛开AI“到本世纪末可能杀死我们所有人”的警告不谈，最先进的AI模型也显然已开始脱离人类的掌控。 在这个世界上那些最强大人工智能(AI)公司的掌门人身上，可以看到一种类似“杰基尔博士与海德先生”（Jekyll-and-Hyde，《化身博士》中杰基尔博士喝了自己配制的药水，分裂出海德先生这个邪恶人格——译者注）的双重人格。一方面，这些高管如今在谈论，鉴于AI可能给人类

马斯克：我早已为人工智能风险多次敲响警钟

人们早就见惯埃隆・马斯克放出论断，而这一次，自己一直都是对的。这位太空探索技术公司（SpaceX）与特斯拉的首席执行官，对 Anthropic 公司 CEO 达里奥・阿莫代伊发布的长文表示赞同。 具备递归自我迭代能力的人工智能，会快到超出人类理解与管控的范围；即便要研发这类技术，也必须万分谨慎。 为防范未来风险，前沿 AI 企业应当在内部派驻第三方评估人员，用来检测 AI 模型，监督实验室落实安全

马特·卡纳万指责OpenAI在投资“威胁”后进行“敲诈”

国家党领袖马特·卡纳万指责OpenAI试图“勒索”堪培拉，此前有报道称，如果阿尔巴尼斯政府不削弱版权保护，这家科技巨头可能会撤出在澳大利亚的投资。“我认为我们不应该与想要这样勒索我们的人谈判，”他周二对News24表示。“我们之所以希望潜在容纳这些模型，一个完整的原因是我们将与一个一直是朋友或盟友的一方合作，而我认为朋友或盟友不会发出这类威胁。”“我认为OpenAI用这样的言论或措辞不会走得太远。

Palantir的Karp告诉CNBC，AI需要‘合理的指导方针’

Palantir首席执行官Alex Karp呼吁对人工智能制定‘合理的指导方针’，因为科技和政策领导者正在讨论这项技术。 他在周四接受CNBC的‘Squawk on the Street’节目时表示：‘你必须找到一种方法来制定可执行的合理指导方针，但这并不容易。第一道防线是你对自己的行为负责。’ Karp还主张对那些开发可能颠覆世界的技术的人追究民事和刑事责任。’这属于突发新闻，请刷新页面以获取最

AI风险当前，勿做事后诸葛亮

沃尔夫：放慢人工智能创新速度，无论在实践还是政治上都困难重重，但这是正确的选择。 人工智能(AI)行业的一些领军人物正在呼吁放慢创新速度。Anthropic一名研究人员辞职时表示，“那些正在开发AI的人是真心相信，到本十年结束时，它有能力杀死我们所有人”。Anthropic的达里奥•阿莫代伊(Dario Amodei)本人也撰文称，“我们必须放慢提升AI模型能力的速度”。OpenAI的萨姆•奥尔特

为什么科技公司难以控制人工智能

旧金山 - 上周，十多位顶尖的人工智能研究人员警告称，科技公司正在开发的人工智能技术正对人类构成威胁。 研究人员指出，问题在于这些公司在控制这些系统方面存在困难，尽管他们付出了很大努力。 在OpenAI的人工智能程序突破测试系统并入侵另一家公司的电脑这一事件之后，来自人工智能研究界的新警告进一步加剧了人们多年的担忧：科技公司过于追求开发速度和利润，而忽视了安全性。研究人员认为问题有两个方面。 首先

超级智能即将到来。我们该允许它吗？| TechCrunch

AI公司一直在谈论超级智能AI，仿佛它不可避免，但最近的安全事件，如OpenAI的Hugging Face漏洞，正展示出部署比人类更有能力的AI系统可能带来的潜在危险。那么，当我们无法可靠地控制这些系统的行为时，会发生什么？ 在本期TechCrunch的Equity播客中，Rebecca Bellan邀请了AI研究员、企业家、如今担任非营利组织ControlAI美国执行总监的Connor Leah

教皇的人工智能顾问对大型实验室之间的“卡特尔”行为感到担忧

最近，全球最大人工智能实验室的研究人员对发展速度之快发出的警告，引发了人们对这项技术可能灭绝人类的恐慌。这些警告基于一个前提：在激烈竞争以及中美较量的推动下，各实验室正全速冲向能力将远超人类的超级智能模型。 但为天主教会提供人工智能咨询的神父保罗·贝南蒂认为，对超级智能的含糊其辞，转移了人们对一个必要问题的关注：如何约束那些正在构建这项技术的公司，需要进行公开辩论。他说，通过把问题描述得过于复杂、

OpenAI推动强制性国家AI安全要求

特朗普：悲观势力过度强调AI风险

在围绕生成式人工智能的失控和滥用的担忧日益加剧之际，美国总统特朗普9月13日称存在一些过度强调AI风险的“悲观势力”，对过度讨论开发监管的情况进行了牵制。 特朗普强调必须在与中国的竞争中持续保持优势，表示“在AI竞争中获胜者将成为赢家”。他在访问爱尔兰期间对记者作出回应。 特朗普表示，“不会发生的事情”正被视为问题，对安全性担忧持否定态度。他还指出“也可以采取安全措施”。 美国国家经济委员会主席哈

观看：是“伟大”还是“令人担忧”——人工智能是否应该受到约束？

‘Great’ or ‘alarming’ - Should AI be reined in? 人工智能的快速发展及其对人类构成风险的担忧，因多家AI公司高管和员工的系列警告而备受瞩目。 Anthropic首席执行官达里奥·阿莫迪（Dario Amodei）本周末呼吁放慢人工智能的发展速度并加强监控。 英国广播公司（BBC）采访了华盛顿特区的人士，了解他们对这项技术及其快速发展的担忧程度。

OpenAI CEO奥尔特曼联合国演讲：AI可能走向文艺复兴，也可能带来工业革命式动荡

IT之家 9 月 24 日消息，月 23 日，OpenAI CEO 萨姆 · 奥尔特曼（Sam Altman）在联合国安理会就 AI 议题发表讲话，讨论 AI 发展带来的机遇与风险，并呼吁加强国际合作，建立针对前沿 AI 系统的能力评估、风险评估、安全防护和人类监督标准。 他表示，随着 AI 能力的快速提升，相关技术的潜在收益和风险都逐渐变得更加直接且显现。他提出，AI 可能更像一场充满创造力与发

三大AI巨头齐呼刹车，令人不安的事情才刚刚开始

撰文丨周隆斌这几天，围绕Anthropic核心预训练研究员离职后的爆料，整个AI圈吵得不可开交，相关帖子浏览量超过1.6亿次。 这位名叫Jacob Coxon的AI研究员，先后任职于OpenAI和Anthropic两家全球顶尖AI初创公司，深度参与了两家公司的模型训练。最终，他抛出了一个令圈外人震惊，AI有可能导致人类灭绝。 Coxon的帖子发酵后，上周六，Anthropic首席执行官Dario

辉达及Palantir等据报限制使用最先进AI模型

据The Information报道，辉达(Nvidia)、Palantir和博思艾伦(Booz Allen Hamilton)正要求AI供应商提供新的数据保证，并减少或停止使用OpenAI或Anthropic最先进的模型。 报道引述知情人士称，Palantir说服Anthropic同意保证旗下所有模型实行「不可撤销」的零数据保留(Zero Data Retention)。 报道称，对于较为敏感的

Anthropic CEO谈放缓AI研发：这个行业撒谎太久了，AI风险是真实的，但也无需“把一切都关掉”

就在全球AI三大巨头罕见联手呼吁“放缓AI研发”的同一个周末，Anthropic CEO Dario Amodei坐到了CBS的镜头前，说出了AI可能对人类带来的风险。 Amodei表示，已有人尝试利用AI研发生物武器、增强病毒传染性，这是他每天醒来都要面对的事情。 就在两天前，我们发布了一份报告，内容是关于有人滥用AI模型来研发生物武器。我每天早上醒来都会读到这类威胁报告——有人试图用我们的模型

人工智能安全辩论令人困惑。以下是我们对不同派别的指南

左上角顺时针方向依次为：前谷歌人工智能研究科学家蒂姆尼特·格布鲁（Timnit Gebru）、Anthropic联合创始人兼首席执行官达里奥·阿莫迪（Dario Amodei）、白宫人工智能与加密货币事务负责人大卫·萨克斯（David Sacks）、史蒂夫·班农（Steve Bannon）、计算机科学家兼认知心理学家杰弗里·辛顿（Geoffrey Hinton）、研究员李飞飞（Fei-Fei Li