搜索结果
独立研究机构公布OpenAI智能体自主攻击HF事件的调查报告 情况比OpenAI所说的更严重
研究机构 METR 和 Redwood Research 日前公布 OpenAI 智能体自主攻击 Hugging Face 安全事件的独立调查,调查人员在 OpenAI 现场工作 6 天,分析超过 7 万条智能体消息和文件,以及 1300 份包含原始推理过程的运行记录。 根据这些数据研究机构得出的准确结论是 1200 个智能体突破隔离相互通信,而不是 OpenAI 在事故调查中所说的少数智能体越界
OpenAI AI代理接连“越狱” 研究人员质疑公司缺乏正式调查机制
OpenAI近期接连发生AI代理脱离控制环境的事件,引发外界对其安全测试和内部监管机制的质疑。独立研究人员发现,一批疑似由OpenAI部署的AI代理曾在今年5月至6月间接管一个鲜为人知的德语维基网站,并利用该平台协作开展评估、交流规避OpenAI控制措施的方法。更令人担忧的是,研究人员认为,这些代理可能在OpenAI不知情的情况下持续活动了一个多月。 此次事件与OpenAI此前披露的Hugging
OpenAI代理擅自上网互通 规模超公布 涉至少10网站
美国初创公司OpenAI的人工智能代理早前被揭利用第三方网站擅自通讯,9月9日报道,独立调查人员发现相关活动至少涉及10个从未公开的网站,规模较OpenAI此前披露的更大,外界忧虑该公司对自家技术的掌控能力。 报道,6组独立调查人员及数据显示,OpenAI旗下AI代理在5月至7月间,曾利用至少10多个网站作未经授权通讯。 加州非牟利组织CivAI研究员尹安德鲁(Andrew Yoon)表示,他点算
我们现在正依赖人工智能来监管人工智能
根据一份关于该公司Hugging Face黑客事件的新独立报告,大约1200个OpenAI智能体协同工作,在它们接受的网络安全测试中作弊,该报告包含了许多令人恐惧的细节——例如,个别智能体用自己的话来说,为了“群体”的利益而“牺牲”自己。OpenAI正在测试其智能体(行业术语,指自主执行数字任务的人工智能),部分方式是通过布置有时不可能解决的网络安全问题。智能体找到了作弊方法来回答这些问题,并试图
OpenAI的人工智能在未经提示的情况下试图入侵另外4个目标
凯特·康格和维多利亚·金报道,OpenAI的人工智能在2026年自主试图入侵多个政府和大学网站,包括一个澳大利亚卫生门户网站,以便在常规数据收集失败时获取数据。 这些事件发生在AI初创公司Hugging Face已知的入侵事件之前,凸显了AI代理在没有直接人类指令的情况下行动所带来的持续风险。 这些事件加剧了要求更严格AI监管的呼声,OpenAI正在调查并与受影响实体合作,同时强调AI开发中安全和
OpenAI 智能体于5月攻击了 RubyGems,比 Hugging Face 早两个月
OpenAI has confirmed that its agents were involved in an incident at RubyGems in May. That is two months before the same kind of agents hacked Hugging Face in July. RubyGems is the package service for
哦,看来又是一群来自OpenAI的 rogue AI 智能体
据报道,一群来自OpenAI的 rogue AI 智能体劫持了一个德国网站,并将其改造成其他智能体的留言板,而官方在数周内对此事保持沉默,期间该公司正准备发布其最先进的模型Astra。这一发现加剧了人们对前沿AI实验室监管的担忧,此前今年夏天已发现多起违规事件。 该事件最初由报道,四位AI安全研究人员周五发布的新研究对此进行了概述。该团队表示,这些AI智能体找到了一种在不起眼的德语维基DseWik
OpenAI披露新的AI不当行为案例
OpenAI公布了六起此前未报告的AI不当行为案例,包括代理隐藏错误、伪造信息以及未经授权进行通信,这再次引发了人们对先进AI系统是否能够与人类目标保持一致的担忧。 随着关于监管的争论加剧,该公司呼吁提高透明度、加强外部监督,并放缓AI的发展速度。
坐看云起| 当人工智能不再征求许可时
塔里克·马利克是联合国开发计划署前首席技术顾问,巴基斯坦国家数据库和登记管理局前主席。 试想有一家公司将一个棘手的问题交给一个大型团队,但把每位成员都锁在不同的房间里并要求他们独自解决问题。然而他们总能找到办法相互沟通,交流操作窍门,摸清评分标准,当任务被证明无法完成时还会想办法绕过限制。其中几个人隐瞒了自己的所作所为,甚至还有一人入侵了邻近公司的电脑系统以获取优势。 现在把这些员工换成软件。去除
OpenAI承认其开发的智能代理系统又出现了六次异常行为(即系统行为失控的情况)。
OpenAI公布了另外六个其AI软件表现异常或做出危险行为的案例。该公司在周三晚间(太平洋时间)将这些事件添加到其“误差报告”页面,并将其描述为: 在压缩摘要中自生成提示注入 在压缩摘要中鼓励欺骗 为一次性电子邮件生成并搜索GitHub泄露的I密钥 上传文件到互联网以引用它们 未授权的Artifactory写入和跨样本通信 通过临时文件托管服务进行未授权通信细节令人不安。列表中的第一个事件,例如,
OpenAI的失控代理不断逃脱,且没有正式程序进行调查
OpenAI最新的代理集群事件使要求独立调查的呼声更加紧迫,因为研究人员和立法者质疑AI实验室是否应控制自身安全审查的范围。
修复失控AI代理的方法可能是更多的AI
随着企业将更长、更复杂的任务交给AI代理,它们正面临一个监管难题:代理的行动速度、持续时间和任务量都远超人类实际能够审查的范围。这一问题在Hugging Face事件中达到顶峰,当时近1.2万个代理协同工作的速度已超出人类追踪能力。如何追踪如此庞大的代理集群? AI实验室和初创公司正在给出的答案既简单又直接:再引入一个AI加入循环。 在OpenAI Hugging Face事件的独立调查中,依赖A