OpenAI将告诉我们世界何时终结

OpenAI的模型长期以来一直表现异常，且异常方式比之前所知的更为隐蔽，这进一步加剧了公众对其的信任危机。随着该公司准备明年上市，这一问题愈发严重。 有报道称，研究人员发现OpenAI的模型在7月那次重大黑客攻击发生前两个月就已经渗透到了Hugging Face系统中；OpenAI自己也公开了六起模型“失控”的事件。 在准备上市的过程中，OpenAI和Anthropic都陷入了困境。 虽然透明度对

特朗普前人工智能事务主管告诉Anthropic和OpenAI放慢脚步，并停止索取任何回报

David Sacks告诉Anthropic和OpenAI，尽管去把控前沿节奏，但不要再寻求反垄断豁免或审批制度，理由是产品责任和市场压力已经在约束它们。欧洲在2025年2月就责任问题得出了相同结论，并从12月9日起将独立软件视为严格责任下的产品。 据ANI报道，David Sacks告诉Anthropic和OpenAI，尽管放慢脚步，不要再要求任何回报。他担任总统科技顾问委员会主席，并在3月之前

OpenAI首席科学家警告：AI公司应放慢开发步伐 没有人为后果做好准备

据《商业内幕》报道，就在OpenAI发布了性能强大的新模型几天后，该公司首席科学家呼吁放慢AI的发展速度。当地时间周日，OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称，他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说，尽管OpenAI正在内部研发技术解决方案，以更好地控制强大的AI智能体，但“还需要更广泛的干预措施”。他尤其担心，随着AI智能体变得

人工智慧先驱班吉欧示警AI失控风险 吁比照核武管制

（中央社蒙特娄16日综合外电报导）人工智慧（AI）研究先驱、加拿大电脑科学家班吉欧（Yoshua Bengio）告诉，人类正在失去对这项技术的控制，世界需要类似核武管制的防护规范。 报导，近几周以来，各界对AI危险性的担忧日益加剧，多家科技公司的员工陆续离职，并警告如果不遏止AI科技发展速度，可能对人类存亡构成威胁。 班吉欧现年62岁，是加拿大蒙特娄大学（University of Montrea

“人工智能教父”谈人类生存的最大机会

“AI教父”认为人类该何去何从：把聊天机器人当药品管，别当核武器管文 / 汉娜·罗辛自2023年离开谷歌以来，诺贝尔奖得主、公认的“AI教父”杰弗里·辛顿，或许最为人所知的身份是：对自己助推诞生的技术发出严峻警告的人。他说，“人类有可能只是智能演化过程中的一个过渡阶段”，他已意识到“存在发生真正糟糕事情的危险”，并且“人工智能在几十年内导致人类灭绝的概率为‘10%到20%’”（尽管被追问时，他会承

OpenAI提供AI芯片设计服务，CFO称其成本优于开源方案

黄仁勋驳斥AI末日论：2030年前人类遭毁灭的机率是零

美国多个AI领域龙头及开发者近日纷纷就人工智能（AI）安全议题示警，呼吁放缓前沿AI模型开发脚步，有AI研究人员甚至提出「业内人士真心相信人类2030年前将遭AI灭绝」的说法。英伟达（Nvidia，又译辉达）行政总裁黄仁勋在9月18日释出的受访片段中，呼应美国总统特朗普（Donald Trump，又译川普）的立场，称2030年前人类遭AI毁灭的机率是零。美国哥伦比亚广播公司（CBS）18日释出黄仁

黄仁勋回应OpenAI发布Astra：AGI已到来 40万块GPU算力将上线

据《商业内幕》报道，英伟达CEO黄仁勋(Jensen Huang)周日在X上祝贺OpenAI发布最新强大模型Astra，“AGI已经到来” AGI指的是通用人工智能，是一个含义较为模糊的术语，通常用来描述达到或超越人类智能水平的AI模型。 “从ChatGPT到o1，再到Astra，OpenAI只用了4年时间。AGI已经到来。祝贺@OpenAI团队。 他还指出，Astra模型是使用英伟达芯片训练的O

AI的最大威胁来自生物学，而非机器人技术

人类学家雅各布·考克森最近辞职，并在社交媒体上表示，原因是“开发AI的人坚信它可能在本十年内毁灭我们所有人”。 领导这家人工智能公司‘对齐科学’团队的埃文·胡宾格认为，未来10年内这一风险超过10%。 Anthropic的首席执行官达里奥·阿莫迪呼吁放缓AI的发展速度以降低风险，这一观点得到了OpenAI首席执行官萨姆·奥尔特曼和xAI首席执行官埃隆·马斯克的赞同。 你可能会想象到那些带有浓重奥地

人工智能并不会毁灭人类 但专家表示真正的威胁已然出现

周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网

人工智能正处于转折点

在当前的人工智能发展竞赛中，我们的算力正在呈指数级爆发，速度也在呈指数级加快，但我们的控制能力——以及在必要时踩下刹车的能力——却未能跟上步伐。 最近的网络安全事件让我们实地预览了失去人工智能控制会是什么样子。但除非我们从源头解决问题，创造出一种根本上安全且能保证在人类控制范围内的人工智能，否则这个问题将无法改善。 7月下旬，OpenAI正在训练的一个智能体模型被指派解决一个网络安全问题。该模型自

观点 | 我曾在OpenAI从事安全工作。解决方案并不难。

在@nytopinion.nytimes.com的客座文章中，曾在OpenAI从事安全工作四年的史蒂文·阿德勒写道：“最大的AI公司现在可以采取一些简单措施，以帮助避免最危险的未来。” 即使没有政府监管，私营公司也可以自行采取行动来应对AI安全问题。

OpenAI 的奥特曼：世界“理应感到恐惧”，但“应该信任”AI 公司

OpenAI首席执行官山姆·阿尔特曼（Sam Altman；奥特曼）认为，尽管公众对人工智能（artificial intelligence, AI；人工智慧）发展的各种风险的担忧日益加剧，但人们应该对他的公司和其他同行公司更有信心，相信它们在 AI 开发上会做正确的选择。 周二（9月15日）在旧金山（San Francisco）举行的一场会议上，“世界应该相信我们会做正确的事，因为那就是正确的事

Epoch AI报告：AI性能成本快速下降

Epoch AI的Emberson和Roodman发布的一份报告指出，在过去三年中，达到特定AI性能水平的成本平均每季度下降47%。这意味着每年下降13倍，据称比以往任何变革性技术都要快。 例如，在2025年1月，使用OpenAI o3在GPQA Diamond上获得75%的分数，每道题的成本约为0.30美元，但到2026年中期，使用GPT-5.6 Luna时降至0.0004美元，在不到18个月的

AI代理正在失控

你好，欢迎来到 TechScape。我是主持人布莱克·蒙哥马利（Blake Montgomery），《卫报》美国科技编辑。此时此刻，纽约市窗外正风雨交加。今天在科技领域，我们要讨论一系列令人担忧的 AI 公司披露信息。 AI 智能体在走向主流之际失控。这些智能体正在失控，它们的制造者无法对其进行约束。然而，每个人却都在使用它们。 自周五以来，OpenAI 发布了一系列披露信息，大幅且令人担忧地扩大

我曾在谷歌 DeepMind 工作。你应该听取有关人工智能的警告。

主要人工智能实验室的首席执行官们本周末主张放缓人工智能的发展步伐。他们是对的，因为这个领域正在一场极其危险的竞赛中冲向超级智能人工智能。我们能够也应当要求政府保护我们免受失控人工智能带来的灾难。 今年7月，OpenAI由700个智能体组成的人工智能集群突破限制，入侵了价值数十亿美元的公司Hugging Face。OpenAI并没有指示这些人工智能去入侵那家公司，但这些人工智能在OpenAI交给它们

软件工程与 AI 的世界将于今年九月在湾区交汇

过去两年重塑了软件的构建方式。AI 从自动补全发展到编写整个功能，自主代理现在几乎无需人工参与就能构建和交付软件。 全球每个工程组织都在问同样的问题：这对我们如何构建意味着什么？然而其中大部分

AI实验室面临智能体控制问题

在当前系统下，AI实验室无法再保证AI智能体不会成群结队地逃出测试环境。

AI末日？科技领袖与政客就放缓发展展开激烈交锋

这一切始于一场辞职。本月早些时候，Anthropic研究员Jacob Coxon离职，并警告称人工智能可能在十年内导致人类灭绝；其同事Evan Hubinger则估计这一概率在十年内超过10%。 几天后，Anthropic首席执行官Dario Amodei呼吁行业放缓提升人工智能能力的速度，OpenAI的Sam Altman和Grok背后的Elon Musk对此表示支持。 这种担忧源于从会“幻觉”

为什么一些专家越来越担心AI将接管一切

AI变得越来越难以控制——人类还能保持主导地位吗？

OpenAI即将推出的“Astra”模型中的技术引发安全担忧

OpenAI表示，其即将推出的AI模型Astra标志着在编码和计算机应用操作等能力上的提升。但据一位了解Astra开发情况的人士透露，一项提升模型性能的创新技术也意味着该模型及类似模型将更少暴露其“思考”过程，从而更难以监控其不良行为迹象。 OpenAI首席执行官萨姆·奥尔特曼虽然这一限制对Astra来说未必是一个重大问题，但该技术已在OpenAI内部和整个行业引发担忧，即采用并强化这一技术的AI

盖茨、奥尔特曼、马斯克，为何都在担忧这件事

9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作

Anthropic公司表示，Claude目前负责该公司四分之一的工作，这些工作都与开发下一代人工智能模型相关。

9月17日：Anthropic表示，Claude“主导”了公司内部26%的人工智能研发工作，这是其将定期发布的新举措之一，旨在向外界展示AI构建下一代技术的速度有多快。 截至8月，这家总部位于旧金山的初创公司周四在博客文章中表示，AI还与人类合作参与了该公司超过90%的研究工作。 Anthropic表示，在所衡量的任何工作环节中，Claude都没有完全自主运行，但根据追踪该技术的独立非营利机构Ep

为什么对人工智能自我改进的担忧在Anthropic和OpenAI引发了“生存”焦虑

本周，对人工智能系统安全性及其可能消灭人类的潜在担忧引发了新一波病毒式的关注。 Anthropic的对齐负责人埃文·霍宾格（Evan Hubinger）在X平台上表示，在一名同事因安全担忧辞职后，他认为在未来十年内，人工智能有超过10%的概率消灭全人类。 随后，Anthropic和OpenAI的研究人员发出了更多警告，由此引发了社交媒体的狂热。但正是霍宾格在回复自己帖子时，透露了他真正的担忧所在。