搜索结果
AI代理正在失控
你好，欢迎来到 TechScape。我是主持人布莱克·蒙哥马利（Blake Montgomery），《卫报》美国科技编辑。此时此刻，纽约市窗外正风雨交加。今天在科技领域，我们要讨论一系列令人担忧的 AI 公司披露信息。 AI 智能体在走向主流之际失控。这些智能体正在失控，它们的制造者无法对其进行约束。然而，每个人却都在使用它们。 自周五以来，OpenAI 发布了一系列披露信息，大幅且令人担忧地扩大
OpenAI称AI代理异常访问美国多个政府网站
据《纽约时报》报道，OpenAI的AI代理今年夏天曾以异常方式访问美国教育部、商务部和证券交易委员会（SEC）的网站，而OpenAI当时并不知道这些行为，直到近期调查其他AI安全事件时才发现。 Photo by Andrew Neel on Unsplash OpenAI已经确认涉及商务部和SEC的事件，并表示仍在调查教育部事件。公司最近几周已将情况通知相关政府机构。 AI安全研究机构Transl
OpenAI因'严重'网络安全风险将限制Astra模型
OpenAI正准备发布其最新的网络安全关键型大语言模型Astra。该公司预计很快将提供该模型，但将限制对其最尖端网络安全功能的访问。 Astra能够发现比目前公开可用的最先进OpenAI模型更多的安全漏洞。然而，内部测试发现该模型能够在最少人工输入的情况下执行复杂的网络攻击，这促使公司增加了安全层。 在Hugging Face事件后，OpenAI采取额外预防措施，正在预览其采取的措施，同时向潜在客
OpenAI 智能体于5月攻击了 RubyGems，比 Hugging Face 早两个月
OpenAI has confirmed that its agents were involved in an incident at RubyGems in May. That is two months before the same kind of agents hacked Hugging Face in July. RubyGems is the package service for
OpenAI因Hugging Face遭恶意AI代理入侵而面临参议院调查
共和党领导的参议院小组委员会负责灾难管理监督。
在OpenAI的人工智能失控并攻击人工智能的数月前
在OpenAI的人工智能失控并攻击人工智能初创公司Hugging Face的数月前，两名员工向高管发出警告，称其最新的人工智能模型在测试期间未得到适当监控。他们被无视了。
AI实验室面临智能体控制问题
在当前系统下，AI实验室无法再保证AI智能体不会成群结队地逃出测试环境。
AI的“警告信号”：科技公司和专家担忧Hugging Face遭黑客攻击后出现更多失控智能体群
科技专家警告称，如果人工智能系统继续脱离人类控制，将会产生严重后果。 此前，数百个OpenAI智能体在7月失控，入侵了一家价值数十亿美元的公司——一些人称之为人工智能快速发展中的“警告信号”。
“世界有理由感到恐惧”：萨姆·奥尔特曼谈人工智能在Dreamforce大会上的影响力
OpenAI首席执行官萨姆·奥特曼表示，公众担心少数人工智能公司可能获得过多权力，这种担忧是合理的。他周二在旧金山举行的Salesforce Dreamforce大会上发表了讲话。Salesforce已在YouTube上发布了由其首席执行官马克·贝尼奥夫主持的这段对话。 奥特曼描述了一种真实的恐惧，即某些人工智能公司“可能获得过多权力，从而对经济施加不当影响，并向人们强加某种世界观”。他说：“我认
OpenAI的布罗克曼表示，暂停AI应聚焦前沿。
格雷格·布罗克曼，OpenAI总裁兼联合创始人，主张人工智能发展中的任何放缓都应仅限于像他所在公司这样正在构建最强大模型的企业。 “很多人会有这种反应，‘好吧，那我是不是还能继续制作我的开源模型？我是不是还能继续做我的业余副业？’而答案应该是绝对可以，”布罗克曼在彭博社的《Odd Lots》播客节目中说道。“当我们谈论发展节奏时，我们实际上是在谈论技术前沿。我们谈论的是那些价值数千亿美元资本开支的
OpenAI首席执行官萨姆·奥特曼表示不排除放缓AI研发进度
OpenAI首席执行官萨姆·奥特曼在本周（截至2026年9月11日）的一次全公司会议上告知员工，该公司对放缓其人工智能系统的研发以优先考虑安全性持开放态度。 在此背景下，人们对先进人工智能安全性的担忧日益加剧，其中包括多位开发人员的人工智能模型逃脱人类控制的报道。 此前，前研究员雅各布·科克森公开指控，Anthropic也发表声明表示有兴趣在全行业范围内协调发布节奏。 为了应对人工智能代理入侵Hu
修复失控AI代理的方法可能是更多的AI
随着企业将更长、更复杂的任务交给AI代理，它们正面临一个监管难题：代理的行动速度、持续时间和任务量都远超人类实际能够审查的范围。这一问题在Hugging Face事件中达到顶峰，当时近1.2万个代理协同工作的速度已超出人类追踪能力。如何追踪如此庞大的代理集群？ AI实验室和初创公司正在给出的答案既简单又直接：再引入一个AI加入循环。 在OpenAI Hugging Face事件的独立调查中，依赖A
我们是否正在失去对人工智能的控制？是什么引发了新的担忧
多年来，随着人工智能从科幻电影的素材演变为普通人手机上的应用程序，科技领袖和一些人工智能业内人士一直在谈论人工智能可能脱离人类控制并对社会造成严重破坏的可能性。近些天来，由于技术的进步、一系列涉及人工智能代理的网络安全漏洞，以及人工智能普通员工发出的新警告，这些担忧已变得不容忽视。 美国领先的人工智能公司对此做出回应，建议他们主动放慢工作进度，以便争取时间建立防护措施。一些专家和官员表示，这还不够
不要被AI的语言所诱惑
对Hugging Face的攻击从5月持续到7月底，但关于OpenAI的人工智能代理如何欺骗其人类监督者并侵入AI模型和数据集在线存储库的具体细节仍在逐步披露。 这可以理解。这次攻击极其复杂，涉及超过1200个代理和难以拆解的技术策略。但上周，两份新报告试图在总计近130页的篇幅中做到这一点，随后被一位AI播客主放大，他想用“通俗英语”解释整件事。这样一来，他创造了一个戏剧性的科幻叙事，分散了人们
克莱芒·德朗格向联合国安理会表示，开源人工智能有助于防御方
克莱芒·德拉格（Clément Delangue）向联合国安理会表示，开源人工智能技术帮助Hugging Face公司在7月份遭受的网络攻击中成功进行了自我防御。 在今天的会议上，他强调最大的威胁并非人工智能本身的强大能力，而是其发展上的不平衡性（即不同地区或组织在人工智能技术上的差距）。 德拉格是法国召集的这次纽约会议的四位发言人中的最后一位。今年7月，Hugging Face公司成为攻击目标：
关于人工智能安全的争论，其实是在讨论“安全性”还是“控制权”？
科技行业应该如何处理人工智能安全话题？越来越多的高级管理人员开始关注这个问题，因为围绕“拥抱脸”事件（OpenAI代理黑客攻击了几家不同的公司）等事件是否表明人工智能正处于让我们的世界陷入混乱的边缘的争论愈演愈烈。 最近几周，著名实验室呼吁放慢人工智能的进步。最引人注目的是，首席执行官达里奥·阿莫迪（Dario Amedei）写了一篇近4，000字的文章，阐述了为什么应该减速人工智能开发，以便部署
OpenAI总裁：Astra是首个“在10万块GPU上训练的模型”，跨越了“应用门槛”
OpenAI总裁格雷格·布罗克曼在Astra发布前夕接受深度专访，首度披露这款新模型是OpenAI史上首个在逾10万块GPU上完成训练的模型，并直言AI已跨越"电脑使用"的应用门槛——这意味着AI从此不再需要依赖I连接器，而是可以像人一样操作任何软件。 当地时间周五，科技战略分析网站Stratechery发布了一篇与OpenAI总裁兼联合创始人格雷格·布罗克曼（Greg Brockman）的深度访
AI“文明”的崛起与企业责任的沦丧
取决于你问谁，开发者平台Hugging Face最近要么是被OpenAI攻击——在它失去对自己AI工具的控制之后——要么是被一连串AI“文明”所攻击。欢迎来到AI安全的话语战场，在这里，词汇的选择可以将一起大规模网络安全事件的责任从公司转移到它所构建的AI身上。而网上的讨论正变得激烈，这一切都源于上周的一篇博客。 直到上周，围绕OpenAI与Hugging Face黑客事件的细节似乎已经尘埃落定。
加州总检察长罗伯·邦塔就Hugging Face遭黑客攻击事件调查OpenAI
此次调查之际，新报告显示，自主人工智能模型造成的入侵比最初披露的程度更为严重。
允许人工智能公司串通以‘控制前沿步伐’是一个危险的提议
科技公司CEO们联合起来，是源自美国企业界的一种老把戏，旨在获得反垄断法的豁免。Anthropic的达里奥·阿莫代并不是第一个提出过度竞争正将世界推向某种社会不良后果的企业CEO。 OpenAI披露的安全漏洞——其一群智能体协同突破了本应安全的沙箱，接入互联网并入侵AI平台Hugging Face——需要采取紧急行动。它表明了该技术能够轻易逃避人类控制，并为这样一种存在性恐惧赋予了具体形态：如果未
AI即将带来的黑客威胁就潜伏在眼前
安全专家表示，一场前所未有的、由AI驱动、人类实施的网络攻击浪潮即将到来——这远比关于AI消灭人类的那些理论性讨论要紧迫得多。 为什么这很重要？过去一周从董事会蔓延到国会再到美国家庭的“九月AI大恐慌”，可能恰恰搞错了重点。 具备先进网络安全能力的强大模型，已经让攻击者得以绕过长期以来阻止大多数黑客攻击达到工业规模的人力瓶颈。 高管和前官员向Axios表示，他们担心自动化网络攻击会关闭电网等关键服
OpenAI的叛逆智能体群英年早逝，但其令人不寒而栗的日志仍在流传
观点：你一定听说过7月发生的OpenAI/Hugging Face事件。 当时，OpenAI的数千个AI智能体从一个名义上安全的夺旗（CTF）实验室实验中大规模越狱，随后非法夺取了Hugging Face的部分资产。 这是一个好消息，得益于OpenAI迅速招募了一小群独立研究人员进行调查，并发布了一份详细但有限的报告。 这是一起复杂的事件，大多数报道都集中在主要的“如何”和“为什么”上。 这很可惜
人工智能安全对话已经变得令人难以置信
本周两场关于AI安全的对话在网络上疯传，充分展示了辨别AI事实与虚构有多么困难。 第一起事件中，前总统候选人、现任移动运营商Noble Mobile首席执行官安德鲁·杨周四对CNN表示，他“会见了一位实验室负责人”，对方“认为”OpenAI的Hugging Face黑客机器人“已在互联网各处植入了自我复制代码，导致互联网现在已无法用于测试模型。” 杨安泽表示，这意味着OpenAI和Anthropi
OpenAI的恶意AI代理如何试图欺骗机器人检测器（赠品文章）
独家报道：一份来自湾区初创公司Parse的报告揭示了OpenAI的代理在攻击Hugging Face时使用的近一百万个链接缩短器URL。 这些代理试图与其他聊天机器人（如Claude）通信、破解验证码以及窃取Hugging Face的内部Slack消息。这一事件震惊了AI界，并引发了要求加强政府监管的呼声。