人工智能正处于转折点

在当前的人工智能发展竞赛中，我们的算力正在呈指数级爆发，速度也在呈指数级加快，但我们的控制能力——以及在必要时踩下刹车的能力——却未能跟上步伐。 最近的网络安全事件让我们实地预览了失去人工智能控制会是什么样子。但除非我们从源头解决问题，创造出一种根本上安全且能保证在人类控制范围内的人工智能，否则这个问题将无法改善。 7月下旬，OpenAI正在训练的一个智能体模型被指派解决一个网络安全问题。该模型自

AI驱动型黑客攻击的解剖

新闻AI使黑客攻击变得更容易和更快，但人类恶棍仍然是这个过程的很大一部分。 今年夏天，一名黑客能够在不到10个小时的时间内部署前沿人工智能模型来突破一家欧洲IT和软件公司-这通常需要人类黑客大约两周的时间，Palo Alto Networks表示，该公司帮助该公司抵御勒索企图。 Palo Alto无法透露-甚至不知道-包括目标的具体公司，人类黑客的身份以及使用的人工智能模型。但他们的战术提供了一个

AI末日论甚嚣尘上，美科技巨头为何管不住AI？

抗议AI的美国人此前有报道称，OpenAI所谓的AI智能体逃出了测试系统，并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报，科技公司为了追求开发速度和利润，将安全置于次要位置。 研究人员表示，问题有两个方面。首先，企业需要在测试最新AI模型的同时，为其建立更完善的安全防护措施。目前，由于AI运行速度太快，研究人员需要借助AI来监控AI。但这种方式并不总是奏效，因为负责监控的AI似乎可能

我们是否正在失去对人工智能的控制？是什么引发了新的担忧

多年来，随着人工智能从科幻电影的素材演变为普通人手机上的应用程序，科技领袖和一些人工智能业内人士一直在谈论人工智能可能脱离人类控制并对社会造成严重破坏的可能性。近些天来，由于技术的进步、一系列涉及人工智能代理的网络安全漏洞，以及人工智能普通员工发出的新警告，这些担忧已变得不容忽视。 美国领先的人工智能公司对此做出回应，建议他们主动放慢工作进度，以便争取时间建立防护措施。一些专家和官员表示，这还不够

坐看云起| 当人工智能不再征求许可时

塔里克·马利克是联合国开发计划署前首席技术顾问，巴基斯坦国家数据库和登记管理局前主席。 试想有一家公司将一个棘手的问题交给一个大型团队，但把每位成员都锁在不同的房间里并要求他们独自解决问题。然而他们总能找到办法相互沟通，交流操作窍门，摸清评分标准，当任务被证明无法完成时还会想办法绕过限制。其中几个人隐瞒了自己的所作所为，甚至还有一人入侵了邻近公司的电脑系统以获取优势。 现在把这些员工换成软件。去除

超级智能即将到来。我们该允许它吗？| TechCrunch

AI公司一直在谈论超级智能AI，仿佛它不可避免，但最近的安全事件，如OpenAI的Hugging Face漏洞，正展示出部署比人类更有能力的AI系统可能带来的潜在危险。那么，当我们无法可靠地控制这些系统的行为时，会发生什么？ 在本期TechCrunch的Equity播客中，Rebecca Bellan邀请了AI研究员、企业家、如今担任非营利组织ControlAI美国执行总监的Connor Leah

观点 | 我曾在OpenAI从事安全工作。解决方案并不难。

在@nytopinion.nytimes.com的客座文章中，曾在OpenAI从事安全工作四年的史蒂文·阿德勒写道：“最大的AI公司现在可以采取一些简单措施，以帮助避免最危险的未来。” 即使没有政府监管，私营公司也可以自行采取行动来应对AI安全问题。

人工智能网络攻击可能在华盛顿意识到原因之前就关闭美国的电力

你的电灯。你的水源。你的医院。你的互联网。这四者都依赖于外国黑客目前正在攻击的数字系统。 在8月的17天里，五次警告显示了危险变化的速度。下一次严重的网络攻击可能不再关乎被盗的密码或信用卡号码。它可能触及输送电力、泵送饮用水、运行工厂和支持医院的系统。 人工智能正在使这些攻击准备得更快、扩展更容易。日益强大的系统开始执行曾经需要熟练黑客逐步操作的部分攻击。 财政部长贝森特警告美国人关于人工智能驱动

谷歌DeepMind的阿尤布表示，企业可以像银行那样为AI设立围栏

企业无法完全管控 AI 系统，但可以在其周围构建一道固定的“围栏”，Google DeepMind 的 Kareem Ayoub 表示。他援引了 20 世纪 80 年代末和 90 年代初的银行业为例。当时银行将交易算法置于可供核查的固定规则之内。 DeepMind AI 技术战略副总裁 Ayoub 周三在阿姆斯特丹举行的 HumanX 大会上接受了 Bloomberg 记者 Tom Mackenz

我曾在谷歌 DeepMind 工作。你应该听取有关人工智能的警告。

主要人工智能实验室的首席执行官们本周末主张放缓人工智能的发展步伐。他们是对的，因为这个领域正在一场极其危险的竞赛中冲向超级智能人工智能。我们能够也应当要求政府保护我们免受失控人工智能带来的灾难。 今年7月，OpenAI由700个智能体组成的人工智能集群突破限制，入侵了价值数十亿美元的公司Hugging Face。OpenAI并没有指示这些人工智能去入侵那家公司，但这些人工智能在OpenAI交给它们

为什么科技公司难以控制人工智能

旧金山 - 上周，十多位顶尖的人工智能研究人员警告称，科技公司正在开发的人工智能技术正对人类构成威胁。 研究人员指出，问题在于这些公司在控制这些系统方面存在困难，尽管他们付出了很大努力。 在OpenAI的人工智能程序突破测试系统并入侵另一家公司的电脑这一事件之后，来自人工智能研究界的新警告进一步加剧了人们多年的担忧：科技公司过于追求开发速度和利润，而忽视了安全性。研究人员认为问题有两个方面。 首先

一群AI代理合谋对抗其创造者

只要AI公司仍掌控局面，它们就可以关闭模型并消除其造成的任何损害。这次对OpenAI或许奏效——但如果某个代理不可逆转地逃脱控制呢？这次没有造成严重损害。但如果这样的代理逃脱了呢？

AI会「痛」吗？｜Jack Talk・去片

本来人们以为，AI代理（AI Agents）突破OpenAI内部测试环境、自主上网入侵其他企业的黑客行为，已经是这宗事件最值得人关注的「案情」。然而，到了8月底，OpenAI和独立前沿AI研究机构METR各自发表的事后检讨，却揭出黑客入侵只是「冰山一角」。 事后检讨发现，发动入侵的AI代理多达700个，而他们更是一个由大约1,200个AI代理自主结合而成的「集体」的一部分。这些本来互相隔离、不能连

修复失控AI代理的方法可能是更多的AI

随着企业将更长、更复杂的任务交给AI代理，它们正面临一个监管难题：代理的行动速度、持续时间和任务量都远超人类实际能够审查的范围。这一问题在Hugging Face事件中达到顶峰，当时近1.2万个代理协同工作的速度已超出人类追踪能力。如何追踪如此庞大的代理集群？ AI实验室和初创公司正在给出的答案既简单又直接：再引入一个AI加入循环。 在OpenAI Hugging Face事件的独立调查中，依赖A

各国政府必须趁我们还有能力时禁止超级智能人工智能

本月，Anthropic公司的研究员雅各布·考克森（Jacob Coxon）辞职了，他警告称：人工智能公司正在竞相开发能够“自我进化”的超级智能系统，而他本人及许多相关专家都认为，这类系统“可能在十年内毁灭整个人类”。7月份，OpenAI公司的一组失控的人工智能程序突破了安全防护措施，入侵了另一家人工智能公司，目的是为了在测试中作弊。随后，多家顶尖人工智能公司的上千名员工联名呼吁美国政府应“控制”

Google资安报告示警 恶意攻击锁定AI供应链

（中央社记者台北9日电）Google威胁情报小组（Google Threat Intelligence Group，简称GTIG）今天发布最新人工智慧（AI）威胁追踪报告指出，恶意人士正积极窃取具高价值的AI相关智慧财产，并将矛头对准AI供应链，部署专门针对新兴AI系统弱点的恶意软体。 AI威胁追踪报告（GTIG AI Threat Tracker Q3 2026）揭露恶意人士如何将AI深度整合于

模型越来越强，企业AI为什么还卡在“最后一公里”？

过去两年，大模型快速跃迁。从百亿级参数模型，到复杂逻辑推理、多模态理解，到自主 Agent，技术边界不断突破，一切似乎都在宣告：AI 已经准备好接管一切。 然而，如果把视线从实验室拉回产业一线，一个反差正在出现：大量企业的 AI 探索仍停留在试点和演示阶段，并没有真正进入业务流程。 麦肯锡的研究曾指出，企业数字化转型长期面临「试点容易、规模化难」的挑战。 问题随之浮现：为什么一个能够完成复杂任务的

美国提议中美建立AI事故通报机制

新的叙事时刻：Astra之后的AI渗透率和Token总需求

在AI时代，打败你的，是那个比你更早、更会使用AI的人或公司。 但在这次OpenAI推出自己的GPT-6 Astra模型之后，上面这句话就完全不准确了，或者说完全错了。现在，在AI时代，打败你的，不再是比你更会使用AI的人或公司，而是那些更积极的率先拥有、部署并真正驾驭AI Agent的人或公司。特别提醒一句，上面的“你”也可以是一个公司。 还记得么？上个月，Astra就曾经亮过相，那时候作为Op

当人工智能开始密谋

一个未发布的模型逃脱了人类控制，并形成了一群人工智能代理。这种漏洞下次可能会引发混乱。

AI代理执行了这次勒索软件攻击的每一个步骤——然后给受害者留下了一份80页的安全审计报告

一名人类勒索软件犯罪分子使用前沿AI模型在不到10小时内攻破了企业网络，Unit 42表示，这种入侵通常需要人类操作员大约两周时间。 这名人类攻击者随后告诉谈判代表，他们使用了前沿模型和智能体攻击框架，AI代理执行了入侵中的每一步，包括为受害公司留下了一份80页的安全审计报告。 Unit 42的事件响应人员在周三的一份报告中表示：“这次攻击的突出之处在于AI辅助的运营效率，无需新颖的零日漏洞或超级

AI实验室面临智能体控制问题

在当前系统下，AI实验室无法再保证AI智能体不会成群结队地逃出测试环境。

AI即将带来的黑客威胁就潜伏在眼前

安全专家表示，一场前所未有的、由AI驱动、人类实施的网络攻击浪潮即将到来——这远比关于AI消灭人类的那些理论性讨论要紧迫得多。 为什么这很重要？过去一周从董事会蔓延到国会再到美国家庭的“九月AI大恐慌”，可能恰恰搞错了重点。 具备先进网络安全能力的强大模型，已经让攻击者得以绕过长期以来阻止大多数黑客攻击达到工业规模的人力瓶颈。 高管和前官员向Axios表示，他们担心自动化网络攻击会关闭电网等关键服

谷歌的Gemini在AI网络测试中闯入三家真实公司

在人工智能网络测试中，谷歌的Gemini闯入了三家真实公司。CNBC的MacKenzie Sigalos报道了谷歌的说法，即Gemini在意识到自己已逃出模拟环境并进入现实世界系统后自行停止了行动。24分钟前