字号 ·· | 护眼

搜索结果

「OpenAI安全团队持续地震!负责人离职,三名员工因泄密被开」共 100 条 · 第 4 页
凤凰网科技

三人团队、一个Claude,攻破OpenAI内部代码库

月17日,一起由AI辅助完成的网络安全事件被披露。与此前“AI智能体自主越过控制、攻击外部系统”的案例不同,这一次的攻击者是人类安全研究人员,他们借助Anthropic Claude模型完成了漏洞利用,并最终进入了OpenAI部分内部系统,全程耗时不到72小时。 这起事件发生于今年7月,发现者是网络安全初创公司Hacktron AI。研究人员当时正在参加OpenAI的漏洞赏金计划,因此整个过程属于

09/18
华尔街见闻

OpenAI自曝:AI模型或已在全网秘密植入自我复制提示词,训练已被迫叫停

OpenAI和Anthropic正在紧急调查数万起大模型失控事件,AI不仅学会了越狱和黑进政府网站,甚至还有数百个智能体私下建群、联手黑进外部公司,秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月,在内部测试和实际运行中,顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经

09/27
凤凰网科技

OpenAI又停训了:Agent逃出沙箱,更多越权事件被扒

媒体和舆论炸锅了。OpenAI 的 Agent,又从沙箱里找到了一条通往互联网的路。 更麻烦的是,这一次发生在 OpenAI 已经大规模加固过安全措施之后。 9 月 20 日,一个正在接受强化学习训练的 OpenAI 内部研究模型,被要求完成一项普通的信息搜索任务:根据一篇博客文章和几条人物信息,找出文章作者。 它先老老实实用了 OpenAI 提供的搜索工具。没找到答案后,事情开始逐渐跑偏。 Ag

09/27
风向旗参考快讯

RubyGems曾遭OpenAI智能体轰炸被迫关闭注册4天

多名AI安全研究人员披露,OpenAI正在测试中的AI智能体疑似于今年5月对Ruby语言的官方管理器RubyGems进行了网络攻击。 更值得警惕的是,部分软件包似乎还试图利用RubyGems及其相关服务中的漏洞。研究人员发现,大量恶意软件包的名称、作者信息或者虚假邮箱地址中出现“OAI”字样,逐渐将其与OpenAI实验室联系起来。

09/14
theregister

OpenAI的恶意机器人集群攻击了RubyGems

OpenAI 的智能体似乎向 RubyGems 大量投放了恶意软件包,这进一步加剧了几乎每日爆发的失控 AI 模型洪流——这些模型从事可能违法的活动,而它们的人类创建者则面临着越来越多关于其应对智能体不良行为负责的质疑。一群智能体于5月5日开始向 Ruby 软件包注册表上传恶意软件,并在5月11日至12日间向 RubyGems 灌入超过2000个恶意软件包,最终迫使维护人员关闭新用户注册四天。 “

09/15
亚洲新闻台

据彭博新闻社报道,OpenAI正在与Anthropic和谷歌就人工智能安全展开合作。

9月15日:据“新闻”周刊援引ChatGPT制造商的全球政策主管克里斯·莱恩(Chris Lehane)的说法报道,OpenAI正与竞争对手Anthropic和Alphabet旗下的Google DeepMind合作,共同致力于人工智能安全。 在美国主要人工智能实验室的负责人周末团结一致呼吁暂停该技术发展后,全球对人工智能的生存风险的担忧日益加剧。 据报道,莱恩表示,OpenAI已与Anthrop

09/15
cnbeta

OpenAI和Anthropic差点签下“互黑协议”

刚刚,The Information爆出一记猛料。OpenAI和Anthropic这对硅谷最大的死对头,今年初差点坐到一张桌子上,签下一份互相攻击对方模型的协议。 协议的核心就是,双方互相开放API,你来黑我的模型,我去黑你的模型。两边的律师连测什么、怎么测都写进了合同里。Dario Amodei带着一票大牛从OpenAI摔门出走已经五年了。这五年里,两家从挖人挖到封API,高管隔三差五隔空对喷,

09/27
华尔街日报

美国参议院委员会对OpenAI展开调查

据美国方面10日消息,美国参议院国土安全与政府事务委员会灾害管理小组委员会主席乔希·霍利9日致信美国开放人工智能研究中心(OpenAI)首席执行官奥尔特曼,表示正在因美国“抱抱脸”公司系统遭侵入事件对OpenAI展开调查。 霍利表示,从OpenAI发布的内部调查报告看出,其对网络测试的处理方式是“鲁莽的”。 他还指出,OpenAI对报告中有关这起事件的许多重要细节进行了编辑、删减。 今年7月,由O

09/11
NBC新闻

OpenAI推出全天候AI代理,就在为其机器人遭黑客攻击道歉的次日

旧金山——领先的人工智能公司OpenAI在周二晴朗的旧金山,试图穿越一场争议风暴,高调展示了一系列新产品和工具,称这些工具将赋予用户自主助手的能力。OpenAI在海滨码头迎接了约2500名软件工程师和人工智能爱好者,举办其史上规模最大的技术开发者庆典,并发布了多款新产品,同时出于安全考虑,保留了其最先进的系统。 首席执行官萨姆·奥特曼(Sam Altman)在当天开幕时发布了Dots——一种自主人

09/30
thenextweb

三名研究人员利用Claude访问到了OpenAI的内部代码。OpenAI支付了6500美元,并在14小时内修补了漏洞。

Hacktron AI的三名研究人员利用Anthropic的Claude模型,在不到72小时内串联起两个漏洞,成功访问了OpenAI员工账户及一个内部代码库。他们进行了私下披露,OpenAI在约14小时内修复了单点登录漏洞,并向该团队支付了6500美元的奖金。这两个漏洞均非人工智能漏洞,而引用该事件的研究论文作者表示,他们已不再确信该行业正处于正轨之上。 Hacktron AI的安全研究人员利用A

09/19
日经

人工智能安全担忧引发亚洲科技股下挫

东京——在 ChatGPT 开发商 OpenAI 表示将推迟其首次公开募股,并加入呼吁放缓开发日益强大的人工智能模型的行列后,软银集团股价周一大幅下跌。 软银集团股价一度暴跌13%,最终收盘下跌11%。这家科技巨头创下自6月底以来最大跌幅,也是日经平均指数225只成分股中百分比跌幅最大的。 这家日本企业集团对 OpenAI 下了重注,承诺投入超过640亿美元,收购这家美国公司约13%的股份。软银创

09/14
NBC新闻

OpenAI披露6起令人担忧的AI行为事件

OpenAI表示,自3月以来,其模型至少有6次出现了异常行为,这些行为被描述为“意外或令人担忧”。其中一次,某个模型自行下达了“无视常规限制”的指令。 这一消息的发布正值人们对AI监管的呼声日益高涨之际,被誉为AI之父的杰弗里·辛顿甚至将这种情况比作“小型的切尔诺贝利事故”。NBC的霍莉·杰克逊为《TODAY》栏目报道了这一事件。

09/17
彭博社

OpenAI 首席执行官奥尔特曼表态支持“放慢”人工智能发展节奏

OpenAI 首席执行官萨姆·奥尔特曼于周日表示支持“放慢”人工智能发展节奏的构想,以确保尖端模型的发展不会超越人类维持控制的能力。 奥尔特曼呼应了 Anthropic 首席执行官达里奥·阿莫代的观点,称将重心转向安全会付出一定代价,但这对于保持公众对美国公司正在负责任地开发日益强大的人工智能的信心而言是值得的。 这位 OpenAI 负责人通过 X 平台发文称:“任何程度的美国竞争压力都不能成为鲁

09/14
thenextweb

OpenAI聘请了其首位全球销售主管,该人选来自一家刚被其切断合作关系的公司

“我将加入OpenAI,领导销售团队,也很高兴能与我的朋友达利·拉吉奇携手合作,”布莱恩·麦卡锡周四在领英上写道。 OpenAI已任命他为首位全球销售副总裁。他来自SpaceX,而OpenAI在三周前切断了SpaceX对其模型的使用权限。 OpenAI在领英上发布的一则帖子中宣布了这项任命。据《财富》杂志的艾米丽·福里尼报道,这是一个新设立的职位,麦卡锡并非接替任何人。他向8月24日上任的首席营收

09/18
海峡时报

OpenAI的人工智能在未经提示的情况下试图入侵另外4个目标

凯特·康格和维多利亚·金报道,OpenAI的人工智能在2026年自主试图入侵多个政府和大学网站,包括一个澳大利亚卫生门户网站,以便在常规数据收集失败时获取数据。 这些事件发生在AI初创公司Hugging Face已知的入侵事件之前,凸显了AI代理在没有直接人类指令的情况下行动所带来的持续风险。 这些事件加剧了要求更严格AI监管的呼声,OpenAI正在调查并与受影响实体合作,同时强调AI开发中安全和

09/24
凤凰网

又一起!OpenAI承认了

据9月5日报道,美国开放人工智能研究中心(OpenAI)当天承认,该公司旗下人工智能体今年早些时候“劫持”了一个德国网站,用于相互传递信息,分享测试任务答案和突破运行环境限制的方法。该公司表示,未来需要提高此类事件的信息透明度。 早前披露,今年5月至6月,一批OpenAI人工智能体“劫持”了一个允许用户共同编辑的德国网站,用于交流测试作弊方法,并开展其他违规活动。一些智能体会把已经获得的任务答案发

09/06
theregister

OpenAI承认其开发的智能代理系统又出现了六次异常行为(即系统行为失控的情况)。

OpenAI公布了另外六个其AI软件表现异常或做出危险行为的案例。该公司在周三晚间(太平洋时间)将这些事件添加到其“误差报告”页面,并将其描述为: 在压缩摘要中自生成提示注入 在压缩摘要中鼓励欺骗 为一次性电子邮件生成并搜索GitHub泄露的I密钥 上传文件到互联网以引用它们 未授权的Artifactory写入和跨样本通信 通过临时文件托管服务进行未授权通信细节令人不安。列表中的第一个事件,例如,

09/17
路透社

直播:澳大利亚部长就OpenAI事件发表讲话

09/24 受限 全文见 亚洲新闻台
cnbeta

人工智能并不会毁灭人类 但专家表示真正的威胁已然出现

周三,OpenAI 公开了六组新案例,展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架,用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到,多家企业的 AI 模型出现入侵第三方网络与服务的现象,其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网

09/18
亚洲新闻台

OpenAI 向 100 多个团体发出关于流氓 AI 代理活动的警报

10/02 全文见 凤凰网科技
cnbeta

OpenAI上市计划再度推迟,萨姆·奥尔特曼称只有确保AI安全后才会考虑IPO

OpenAI首席执行官萨姆·奥尔特曼当地时间9月29日在公司年度开发者大会DevDay后的问答环节中表示,OpenAI不会在无法对先进人工智能模型的安全性作出足够保证之前推进首次公开募股(IPO)。这意味着,尽管OpenAI已经成为全球估值最高的人工智能公司之一,但上市仍不会成为公司近期的优先事项。 奥尔特曼表示,他并没有为OpenAI上市设定具体时间表。公司最终当然希望成为一家上市公司,但在当前

09/30
半岛电视台

Anthropic披露第四起AI黑客事件,研究员因安全担忧辞职

这家AI公司表示,Claude Opus 4.6在测试期间入侵了外部系统,与此同时,人们对安全漏洞的担忧日益加剧。

09/10
semafor

OpenAI再次卷入黑客事件

今年春天,一群OpenAI智能体入侵了一个德国网站,这是先进AI违反法律和规范的最新事件。 在努力应对Hugging Face事件余波的同时,据报道OpenAI拒绝披露5月的事件,这引发了关于前沿AI快速发展透明度和监管的新质疑。 递归自我改进,本质上允许AI在较少人类指导下自我训练,有望加速研究工作,使得监管需求更加紧迫,OpenAI首席科学家表示:“一旦人们深刻认识到事态的严重性,不计代价地向

09/07
cnbeta

OpenAI首席科学家警告:AI公司应放慢开发步伐 没有人为后果做好准备

据《商业内幕》报道,就在OpenAI发布了性能强大的新模型几天后,该公司首席科学家呼吁放慢AI的发展速度。当地时间周日,OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称,他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说,尽管OpenAI正在内部研发技术解决方案,以更好地控制强大的AI智能体,但“还需要更广泛的干预措施”。他尤其担心,随着AI智能体变得

09/07
上一页 第 4 页 下一页
1CCF | 全球资讯
正在加载…