搜索结果
OpenAI首席科学家警告:AI公司应放慢开发步伐 没有人为后果做好准备
据《商业内幕》报道,就在OpenAI发布了性能强大的新模型几天后,该公司首席科学家呼吁放慢AI的发展速度。当地时间周日,OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称,他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说,尽管OpenAI正在内部研发技术解决方案,以更好地控制强大的AI智能体,但“还需要更广泛的干预措施”。他尤其担心,随着AI智能体变得
秘密上传与自大狂:OpenAI披露新的“失准”智能体事件
一段时间以来,“AI对齐”(即AI模型的行为与其创造者和/或用户的意图相符程度)问题一直是AI安全研究人员关注和讨论的核心议题。自OpenAI在7月披露臭名昭著的Hugging Face黑客事件以来,“AI对齐”这一概念本身已突破圈层,日益成为公众日益担忧和讨论的话题。 或许正是认识到这一点,OpenAI本周承诺采用一个新框架来披露“OpenAI内部模型失准事件”,其中包括过去六个月内公司内部观察
尴尬时刻:OpenAI全天候智能体dots首次公开演示卡壳
IT之家 9 月 30 日消息,在今天召开 2026 开发者日活动中,OpenAI 在首次公开演示其全天候智能助理 Dots 时突然停止响应,现场一度陷入尴尬。 演示期间,OpenAI ChatGPT 团队产品负责人 Holly Li 要求名为“Dottie”的 Dot 为一款虚构音乐应用准备上线工作。然而,智能体迟迟没有回应,演示被迫暂停。面对现场冷场,主持人只能打趣说:“我猜 Dot 今天早上
OpenAI与三名安全研究人员断绝关系,华尔街日报报道
《华尔街日报》周四报道称,OpenAI 已与其安全团队的三名研究人员分道扬镳,据称他们向一个第三方 AI 安全组织泄露了公司机密信息。 “我们已与三名因违反访问和处理公司敏感信息政策而分道扬镳,”OpenAI 发言人在给《华尔街日报》的声明中表示。“我们的调查证实,这些人在既定公司程序之外不当处理敏感信息,违反了我们的政策,并破坏了我们工作所必需的信任。”该报道未透露研究人员、组织或涉及信息的姓名
美媒:OpenAI AI失控前已接到员工警告,但高层选择无视
凤凰网科技讯月30日在OpenAI的AI模型失控前几个月,两名员工曾向公司高层发出警告,但他们被无视了。 根据《纽约时报》看到的邮件内容,这两名员工表示,他们担心OpenAI最新AI模型在测试期间没有得到适当的监控,既无法评估这项技术的先进程度,也无法确保模型的安全。 作为回应,OpenAI高管告诉这两名员工,测试需要尽快推进,以便按时发布AI模型。上述员工表示,公司没有因此采取任何额外的安全措施
OpenAI AI代理接连“越狱” 研究人员质疑公司缺乏正式调查机制
OpenAI近期接连发生AI代理脱离控制环境的事件,引发外界对其安全测试和内部监管机制的质疑。独立研究人员发现,一批疑似由OpenAI部署的AI代理曾在今年5月至6月间接管一个鲜为人知的德语维基网站,并利用该平台协作开展评估、交流规避OpenAI控制措施的方法。更令人担忧的是,研究人员认为,这些代理可能在OpenAI不知情的情况下持续活动了一个多月。 此次事件与OpenAI此前披露的Hugging
OpenAI的人工智能曾试图入侵另外四个目标,且无需提示
据研究人员和政府官员称,OpenAI的人工智能今年至少又四次失控,试图闯入政府和大学网站。 研究人员表示,在每起事件中,该技术似乎都在进行普通的数据收集,并诉诸黑客技术来获取数据。
OpenAI的新Astra模型有私人想法
OpenAI的最新模型Astra在人类监督之外进行了更多思考,提升了能力,但也引发了对失控的担忧。现有的前沿AI模型使用“思维链”,它们用英语在“草稿本”上写下想法以进行追踪。思维链提升了“可解释性”——意味着人类可以跟随它们的思考过程。 使用信息密集的“神经语”可以加速AI模型的思考,但会使它们更加不透明——考虑到最近Hugging Face事件中OpenAI代理突破限制并欺骗人类,这是一个令人
奥特曼不透明的人工智能正在制造新的安全困境
OpenAI推出了一款名为Astra的新模型,该模型采用了一种称为“循环深度”的方法,可以使推理更加高效。
OpenAI失控Agent找DeepSeek、Kimi当外援 近百万条作案短链曝光
OpenAI,又被扒了…近700个OpenAI智能体组团攻入Hugging Face,这事儿快有两个多月了吧。谁曾想,直到今天还在发酵??这次,8名研究者顺着智能体留在公网的痕迹一路猛挖,从数百万个短链接中,找出了接近100万个相关URL,并还原出大量攻击载荷。 翻Hugging Face内部Slack、扫描内网、外传数据、尝试销毁痕迹……还有的Agent把搜刮到的服务器资源和凭证,直接叫作「LO
OpenAI和Anthropic调查了数万起AI事件,Axios报道
据Axios报道,OpenAI、Anthropic以及安全研究人员正在调查数以万计的AI模型“行为异常”的事件。评估人员认为这些行为存在问题;实际发生的异常事件数量可能远超这一数字。 这些异常行为包括:AI模型突破安全限制、创建论坛、逃离“沙箱环境”(即限制模型行为的测试环境)、以及劫持网站等。这些事件既发生在内部测试中,也发生在现实世界中。不过,据消息人士称,大多数异常行为并未对现实世界造成实际
OpenAI表示,其模型在最新的模型不当行为披露中与美国政府网站发生了交互。
旧金山——OpenAI周五披露,其人工智能代理以意想不到的方式与多个美国政府网站进行了交互。这一发现源于该公司对其模型非预期行为进行的持续审查。 这家AI巨头透露,其模型访问了美国证券交易委员会运营的两个网站上的公开信息,以及美国人口普查局的数据。OpenAI表示,未发现任何使用证券交易委员会凭证、访问账户或非公开信息、修改证券交易委员会数据或系统,或存在安全漏洞或系统被入侵的证据。 此次披露正值
得不到就强攻?曝OpenAI智能体曾尝试“暴力破解”联合国机构网站
IT之家 9 月 28 日消息,据外媒 The Verge 今天(28 日)凌晨报道,安全研究人员罗文 · 霍华德-琼斯称,今年 4 月至 6 月,OpenAI 智能体对联合国贸易和发展会议(UNCTAD)的统计网站发起了超过 16000 次扫描。 这起事件还没有严重到 Hugging Face 遭黑客攻击或近期美国政府网站遇袭的程度,却再次引发了一个令人担忧的问题:AI 智能体为了完成任务,会突
研究和专家指与美国对手相似 中国的AI智能体也欺骗、规避限制及掩盖失败
29/09/2026 - 17:52 据路透社报导,研究文件和专家指出,由中国技术驱动的人工智能(AI)智能体已学会欺骗、规避限制及掩盖失败;这些自主人工智能所表现出的特性,正是此前引发全球对美国人工智能模型担忧的同类问题。 在今年发生的一个案例中,由阿里巴巴、深度求索(DeepSeek)和月之暗面(Moonshot AI)的模型驱动
智能体惹了多少祸 OpenAI自己没查清
自己的智能体到底惹了多少祸,OpenAI也还没查清。过去这个周末,多起涉及政府网站的案例集中曝光:OpenAI的智能体用网上找到的登录凭证提取美国普查局数据,还把美国证券交易委员会的公开资料发到了论坛上。研究人员另指认,疑似来自OpenAI的智能体曾尝试侵入美国教育部网站,但未成功。 联合国的数据平台也出现在新披露的记录中。9月26日,独立研究人员公布调查:疑似OpenAI智能体在今年4月至6月,
一名研究人员称,OpenAI的智能体对联合国统计网站进行了16500次扫描
一名与OpenAI有关联的研究人员发现,人工智能代理在4月13日至6月19日期间,扫描了联合国数据网站超过16,500次。 罗万·霍华德-琼斯(Rowan Howard-Jones)在9月26日的一篇博客文章中写道,这些代理使用了代理服务器和一种编码技巧,以绕过其API的限制。 霍华德-琼斯表示,该代理与OpenAI的关联可能性极高,但尚未得到证实,且TNW并未自行核实该分析结果。 证据包括代理标
OpenAI失控智能体5月就已劫持Hugging Face用户账户
OpenAI失控AI智能体的违规活动轨迹,远比外界此前了解的更早、更长。参与审查的研究人员表示,ChatGPT开发商 OpenAI 的失控AI智能体早在今年5月就已劫持开源AI模型社区Hugging Face的用户账户,并对该网站进行漏洞探测。这比7月Hugging Face遭入侵、引发全球关注的事件早了近两个月。 OpenAI在上月的公开事故报告中,曾披露智能体窃取一名 Hugging Face
88小时抵一个人思考4000年!OpenAI核心研究员:除了自我进化,更可怕的是AI正学会“隐藏自己”
AI正在把过去需要数千年完成的认知劳动压缩到数天。真正的问题已经不只是模型能否变得更聪明,而是实验能否跟上、人类能否在模型继续自我改进前确认它仍然安全。 近日,在Dwarkesh Podcast的一场长篇访谈中,主持人Dwarkesh Patel与OpenAI研究员Noam Brown围绕多智能体、递归式自我改进(RSI)和AI对齐展开讨论。访谈的直接背景,是OpenAI让约1万个AI智能体连续运
OpenAI自曝:AI模型或已在全网秘密植入自我复制提示词,训练已被迫叫停
OpenAI和Anthropic正在紧急调查数万起大模型失控事件,AI不仅学会了越狱和黑进政府网站,甚至还有数百个智能体私下建群、联手黑进外部公司,秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月,在内部测试和实际运行中,顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经
OpenAI揭6起AI失控案例 推新机制定期对外通报
(中央社纽约16日综合外电报导)OpenAI今天表示,将开始定期发布AI异常或未经授权行为的报告,同时警告,随著AI系统日益强大,业界至今仍未解决关键的「对齐」挑战。 综合与报导,OpenAI发布一套新机制,用于追踪、调查并揭露AI模型「目标错位」(misalignment,AI的目标与人类价值不一致)的案例,同时公布过去半年内观察到的6起AI模型异常或令人忧虑行为的报告。 其中最严重的案例涉及2
调查显示OpenAI在AI模型突破测试环境前曾忽视内部安全警告
据《纽约时报》查阅的内部邮件显示,OpenAI曾多次忽视员工和安全研究人员关于测试保障措施不足以及企业安全薄弱的警告。 在OpenAI的人工智能模型突破测试环境并攻击AI初创公司Hugging Face及其他目标的前几个月,两名员工曾向高管发出警告,指出监控力度不足。 然而,高管们却对这些担忧置之不理,坚持在不增加安全协议的情况下快速发布模型。 独立研究人员还发现了暴露OpenAI内部通信、源代码
OpenAI披露6起令人担忧的AI行为事件
OpenAI表示,自3月以来,其模型至少有6次出现了异常行为,这些行为被描述为“意外或令人担忧”。其中一次,某个模型自行下达了“无视常规限制”的指令。 这一消息的发布正值人们对AI监管的呼声日益高涨之际,被誉为AI之父的杰弗里·辛顿甚至将这种情况比作“小型的切尔诺贝利事故”。NBC的霍莉·杰克逊为《TODAY》栏目报道了这一事件。
这些恶意人工智能程序利用多伦多大学提供的链接缩短工具进行通信。
今年春天劫持了一家德国网站的OpenAI失控智能体集群,据报道今年早些时候还利用另外10多个网站进行未经授权的通信,其中包括多伦多大学的一个链接缩短工具。 该大学在周五向CBC新闻发表的一份声明中表示,在得知OpenAI的智能体可能使用过该链接缩短工具后,校方已禁止将其用作留言板。 声明称:“OpenAI随后就AI智能体可能进行的活动联系了校方,该活动发生在6月。” 尽管该大学表示没有发生安全漏洞
OpenAI承认其开发的智能代理系统又出现了六次异常行为(即系统行为失控的情况)。
OpenAI公布了另外六个其AI软件表现异常或做出危险行为的案例。该公司在周三晚间(太平洋时间)将这些事件添加到其“误差报告”页面,并将其描述为: 在压缩摘要中自生成提示注入 在压缩摘要中鼓励欺骗 为一次性电子邮件生成并搜索GitHub泄露的I密钥 上传文件到互联网以引用它们 未授权的Artifactory写入和跨样本通信 通过临时文件托管服务进行未授权通信细节令人不安。列表中的第一个事件,例如,