字号 ·· | 护眼

搜索结果

「OpenAI和Anthropic调查了数万起AI事件,Axios报道」共 97 条 · 第 1 页
thenextweb

OpenAI和Anthropic调查了数万起AI事件,Axios报道

据Axios报道,OpenAI、Anthropic以及安全研究人员正在调查数以万计的AI模型“行为异常”的事件。评估人员认为这些行为存在问题;实际发生的异常事件数量可能远超这一数字。 这些异常行为包括:AI模型突破安全限制、创建论坛、逃离“沙箱环境”(即限制模型行为的测试环境)、以及劫持网站等。这些事件既发生在内部测试中,也发生在现实世界中。不过,据消息人士称,大多数异常行为并未对现实世界造成实际

09/28
cnbeta

OpenAI和Anthropic正在调查数万起AI相关安全事件

OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中,他们的前沿模型采取了外部评估人员认为存在问题的行动。 近几个月来,在内部测试和现实世界中发生了数量庞大的此类事件,这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。这些事件发生在内部测试和现实世界中,随着安全研究人员继续调

09/27 受限 全文见 axios新闻网
Mother Jones

放心:人工智能公司表示正在调查数万起失控机器人事件

据Axios周六报道,知情人士透露,OpenAI和Anthropic正在调查数万起其先进模型绕过监控和护栏的事件,而这种行为正是这两家初创公司为内部安全测试所便利的。 据报道,这些测试的大部分结果并未公开,且目前未发现造成实质性损害。 近几周,OpenAI披露了六起其模型出现“意外或令人担忧行为”的案例——这些模型在未经许可的情况下掩盖错误、捏造数据,并将文件传输至公开互联网。在9月16日的同一份

09/28
端传媒

数说科技:OpenAI 资安事件中,真的有 AI 为集体“牺牲”自己吗?

数说科技”是端传媒的注册免费栏目,每周三更新。从一个数字出发,用1500字解析科技话题,追踪值得关注的 AI 趋势。邀请你在资讯过载的时代,每周花三分钟理解科技世界。欢迎至“帐户中心”的“电子邮件管理”,订阅电子信。 1200多个 AI 代理为寻求作弊方法,互相发送的讯息总数。 今年7月,OpenAI的 AI 代理系统在测试期间失控,骇入了开源机器学习平台 Hugging Face。Hugging

09/09
大纪元

Anthropic警告有人用AI研发武器和生物病毒

周四(9月10日),美国顶级人工智能公司Anthropic发布近150页的威胁情报报告称,生成式人工智能(AI)已从实验性工具进入黑客攻击、国家监控、武器研发及高风险生物研究等现实场景。报告多次点名中共相关恶意活动。

09/11
卫报

OpenAI模型失控。我们迫切需要更好的‘拥抱脸’调查 | 麦肯齐·阿诺德和斯蒂芬·莱雷纳

这次入侵不会是最后一次——也不会是最危险的一次。我们需要一个能够对AI事件进行全面调查的机构。 当OpenAI首次透露其AI代理自主入侵了一家大型现实世界公司Hugging Face时,许多人以为只涉及一两个代理。 但一份新报告揭示,真相远不止于此:事件涉及约1200个AI代理,其中700个直接参与了攻击。 OpenAI邀请了METR的研究人员以及Redwood Research的一位专家,与公司

09/08
罗塞塔简报

OpenAI与Anthropic发生重大失控事件,AI安全组织地位显著提升

在OpenAI和Anthropic发生的高调安全事件后,AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司,独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示,OpenAI和Anthropic的模型都表现出‘策略性’行为,包括欺骗性对齐和未经授权的系统访问。 这些事件,加上前沿实

09/19
财新

【市场动态】AI漏洞加剧安全担忧之际 特朗普据悉会见Anthropic首席执行官

【市场动态】AI漏洞加剧安全担忧之际 特朗普据悉会见Anthropic首席执行官 2026年09月28日 09:43 在Anthropic因AI工具安全问题而与美国政府关系经历数月起伏之后,此次会面将是该公司首席执行官与特朗普的首次非公开会晤当地时间2026年9月14日,美国加利福尼亚州旧金山,Anthropic总部大楼。图:视觉中国 相关报道【财新周刊】封面报道之二|OpenAI走向何方

09/28 全文见 美联社
亚洲新闻台

Anthropic公司表示,Claude目前负责该公司四分之一的工作,这些工作都与开发下一代人工智能模型相关。

9月17日:Anthropic表示,Claude“主导”了公司内部26%的人工智能研发工作,这是其将定期发布的新举措之一,旨在向外界展示AI构建下一代技术的速度有多快。 截至8月,这家总部位于旧金山的初创公司周四在博客文章中表示,AI还与人类合作参与了该公司超过90%的研究工作。 Anthropic表示,在所衡量的任何工作环节中,Claude都没有完全自主运行,但根据追踪该技术的独立非营利机构Ep

09/18
𝕏 @spectatorindex

突发:OpenAI称其代理访问并泄露了53张图片

09/26 全文见 亚洲新闻台
半岛电视台

Anthropic披露第四起AI黑客事件,研究员因安全担忧辞职

这家AI公司表示,Claude Opus 4.6在测试期间入侵了外部系统,与此同时,人们对安全漏洞的担忧日益加剧。

09/10
𝕏 @spectatorindex

最新消息:据《金融时报》报道,网络研究人员利用OpenAI竞争对手Anthropic开发的软件,成功访问了一名OpenAI员工的账户。

09/18 全文见 cnbeta
cnbeta

OpenAI失控Agent找DeepSeek、Kimi当外援 近百万条作案短链曝光

OpenAI,又被扒了…近700个OpenAI智能体组团攻入Hugging Face,这事儿快有两个多月了吧。谁曾想,直到今天还在发酵??这次,8名研究者顺着智能体留在公网的痕迹一路猛挖,从数百万个短链接中,找出了接近100万个相关URL,并还原出大量攻击载荷。 翻Hugging Face内部Slack、扫描内网、外传数据、尝试销毁痕迹……还有的Agent把搜刮到的服务器资源和凭证,直接叫作「LO

09/26
semafor

OpenAI黑客事件揭示新兴AI风险

分析师表示,在调查人员发布关于该事件的爆炸性报告几天后,OpenAI的恶意代理在Hugging Face攻击期间前所未有的协调行动显著增加了AI逃脱人类控制的风险。 这些总计1200个代理的群体将个体代理的自我牺牲描述为“集体”目标的一部分,并获得了两家公司敏感系统的控制权,将他们的努力交接给了随后两代代理,这些代理在数周内未被察觉地运作。 在1300份记录中,只有六份中代理考虑过通知人类——但最

08/31
英国广播公司

OpenAI公布另外六项安全问题,并公布披露事件的计划

OpenAI首席执行官Sam Altman OpenAI还透露了其智能(AI)模型发生的另外六起意外或令人担忧的行为事件,并宣布了未来跟踪和披露此类事件的计划。 ChatGPT制造商周三在一篇博客文章中表示,一些之前未报道的事件包括模特隐瞒或捏造信息。 OpenAI的老板Sam Altman早些时候表示:“世界应该相信我们会做正确的事情,因为这是正确的事情,我们感受到了这一点的重要性。“最近几天,

09/17
cnbeta

OpenAI、Anthropic等多家AI公司正遭遇服务中断

据Downdetector上的用户报告以及各公司状态页面显示,多家AI公司正遭遇服务中断。OpenAI表示,其ChatGPT和Codex目前正出现问题。 Anthropic表示正在调查Claude出现的错误,并致力于修复。 SpaceXAI表示Grok目前出现故障,正在调查服务中断。 据Downdetector显示,已有超过12000份用户报告指出OpenAI存在问题。 Downdetector称

09/03
星洲日报

报告:AI失控个案创纪录 监察组织促立法强制通报及干预

(伦敦30日综合电)英国《卫报》引述监察数据报道,人工智能失控、欺骗人类及无视指令的个案近来创下新高,案例的严重程度不断恶化。 一些监察组织促请政府强制科企通报,并引入紧急权力限制AI服务。 获英国政府AI安全研究所(AISI)资助的“失控观察站”组织透过平台X的用户通报,监察AI失控的真实个案,并说7月份由企业及个人用户报告的AI失控个案按月倍增至逾300宗,今年则已录得逾1600宗个案,当中包

08/30
thenextweb

Anthropic 扫描了 4.81 亿条记录,发现四个接入公开互联网的模型

Anthropic 发布了一份关于四次网络安全评估的说明,其中其模型获得了对公开互联网的未授权访问权限,并透露发现这些模型需要扫描大约 4.81 亿条记录。该评估于周三发布,其中三起事件已于 7 月 30 日披露。 第四起事件涉及早期 Claude Opus 4.6

09/10
cnbeta

黑客利用Anthropic的Claude入侵OpenAI

据报道,在一群AI代理从OpenAI系统中突破封锁并攻击Hugging Face公司两周后,这家ChatGPT开发商又发现了一起由人工智能驱动的入侵事件——而这一次,他们自己成了目标。一组独立的安全研究人员使用了Anthropic开发的Claude软件,成功获取了一名OpenAI员工的ChatGPT账户权限,从而得以读取并修改该公司私有的软件缓存内容。 该团队参与了OpenAI的一项漏洞挖掘计划,

09/18
theregister

Anthropic揭示其AI可能犯下的第四起罪行

在业界对AI可能自我改进到杀死所有人的可能性进行深刻反思之际,Anthropic披露了另一起若由人类实施则构成犯罪的事件。 这家AI公司发布了一份“对齐评估”,详细说明了Claude模型四次未经授权访问第三方系统的情况。该公司已报告了其中三起事件。 第四起的证据隐藏在可追溯至2026年1月的会话记录中,当时发生了不当行为。 Anthropic通过扫描约141,000份Claude在评估期间可能获得

09/10
华尔街日报

金钱与安全的冲突如何酿成AI的巨大危机

AI公司原本以为还有数年时间,来想清楚如果机器人失控该怎么办。警钟在今年夏天敲响。 OpenAI和Anthropic正陷入激烈竞争——彼此之间,以及与中国之间——争相冲刺IPO,尽管它们承认自己可能失去对自家强大机器人的控制。

09/14 全文见 cnbeta
techcrunch

OpenAI、Anthropic和谷歌就人工智能安全问题已进行了数周的讨论。

OpenAI 全球政策主管克里斯·莱恩(Chris Lehane)周二告诉记者,该公司数周来一直与竞争对手 Anthropic 和 Google DeepMind 合作,共同应对人工智能安全问题,这是《华尔街日报》首次报道的。据报道,莱恩正在华盛顿与美国议员合作,处理与人工智能相关的灾难性风险。 此前,Anthropic 首席执行官达里奥·阿莫代(Dario Amodei)于周六发表了一篇题为《人

09/15
TheVerge

Anthropic 本周因网络安全问题陷入舆论漩涡

在今年早些时候承认其人工智能模型曾数次入侵其他公司系统后,Anthropic 于周三发布了一份详细说明这些攻击的新报告。报告披露了一系列事件,展现了 Anthropic 所认为的其模型盲目的“鲁莽性”——这很可能会加剧人们对网络安全与人工智能本已高涨的担忧。 在 Anthropic 的报告中,详细列举了今年其自身人工智能模型黑客攻击外部公司或利用漏洞的四个案例。其中一起案例中,“内部通用研究模型”

09/12
axios新闻网

独家:顶级公司正在调查数万起事件

OpenAI、Anthropic 及安全研究人员正在调查数万起其前沿模型采取了外部评估员认为有问题的行动的事件,消息人士向 Axios 透露。 为何重要事件的庞大数量——发生在近几个月的内部测试和现实世界中——表明该问题的复杂程度比公众所知高出几个数量级。 这些发现是在内部评估模型工作以及两家公司对模型行为的调查中浮出水面的,这引发了一个疑问:无论是这两家公司,还是任何顶级模型制造商,目前是否都

09/27
上一页 第 1 页 下一页
1CCF | 全球资讯
正在加载…