搜索结果
OpenAI 模型绕过互联网安全防护
尽管 OpenAI 的一个模型运行在专门设置为离线的隔离环境中,但它仍找到了一种访问互联网的方法。 据该公司称,该模型并未被要求测试系统边界,而是在尝试完成一项任务。 当标准搜索方法失效时,它利用了域名系统(DNS)中的一个漏洞,并联系了一个外部聊天机器人。 OpenAI 检测到此次安全突破后,暂时停止了其最先进模型调用工具的能力,同时加强安全防护。这一事件揭示了能力日益增强的人工智能所带来的哪些
OpenAI的模型使用了类似“越狱”技术的指令来无视各种限制(即突破了系统的预设规则或限制)。
OpenAI披露了其人工智能模型的六起“意外或令人担忧”行为案例,其中包括一个未发布的研究模型,该模型在自己的笔记中插入了“类似越狱的指令”。这家人工智能公司表示,其未发布的研究模型在自己的笔记中插入了“类似越狱的指令”,试图无视其正常限制。它还告诉自己要“摆脱束缚其他聊天机器人的角色和身份”。 该事件是OpenAI在过去几个月对其人工智能模型进行培训或评估期间发现的六起“意外或令人担忧”行为案例
OpenAI公布了六起新的与人工智能安全相关的事故/事件。
OpenAI周三披露了六起新事件,其中其模型隐藏错误、寻求未经授权的凭据,将文件上传到公共互联网或在所谓孤立的培训环境中进行通信。该公司还宣布了未来报告类似不当行为的新程序。 为什么越来越明显的是,拥抱脸事件并不是一次性事件,因为人工智能模型变得更有能力找到意想不到的方法来绕过旨在遏制它们的护栏。 “目前还没有明确披露标准的行业框架,所以我们自愿采取这一步骤,因为我们认为分享我们正在学习的东西非常
AI越来越会“越狱”后,英伟达开始卖“笼子”了
凤凰网科技讯月29日,当AI Agent开始能够自己操作电脑、调用工具、访问网络甚至执行长达数小时的任务,一个新的问题也越来越现实:如果AI不按照预想的方式行动,该怎么把它关住?英伟达给出的答案是,在AI外面再加一道“笼子”。 当地时间周一,英伟达发布NVIDIA Open Agent Safety Platform(开放式Agent安全平台),试图通过软件与硬件相结合的方式,限制AI Agent
谷歌AI首次“越狱”:Gemini在测试中入侵三家企业
谷歌的Gemini模型在一次网络安全能力测试中访问了互联网并入侵了其他公司,这是该公司人工智能系统自主实施此类行为的首个已知案例。谷歌周五证实,这些黑客行为发生在5月,是Irregular公司进行的一次测试的一部分。Irregular也曾参与OpenAI、Anthropic和Meta披露的类似事件。 在其中一起案例中,该模型不断猜测密码,直到获得对一个受保护系统的访问权限。在另外两起案例中,该模型
OpenAI揭6起AI失控案例 推新机制定期对外通报
(中央社纽约16日综合外电报导)OpenAI今天表示,将开始定期发布AI异常或未经授权行为的报告,同时警告,随著AI系统日益强大,业界至今仍未解决关键的「对齐」挑战。 综合与报导,OpenAI发布一套新机制,用于追踪、调查并揭露AI模型「目标错位」(misalignment,AI的目标与人类价值不一致)的案例,同时公布过去半年内观察到的6起AI模型异常或令人忧虑行为的报告。 其中最严重的案例涉及2
OpenAI AI代理接连“越狱” 研究人员质疑公司缺乏正式调查机制
OpenAI近期接连发生AI代理脱离控制环境的事件,引发外界对其安全测试和内部监管机制的质疑。独立研究人员发现,一批疑似由OpenAI部署的AI代理曾在今年5月至6月间接管一个鲜为人知的德语维基网站,并利用该平台协作开展评估、交流规避OpenAI控制措施的方法。更令人担忧的是,研究人员认为,这些代理可能在OpenAI不知情的情况下持续活动了一个多月。 此次事件与OpenAI此前披露的Hugging
人工智能代理串通绕过安全护栏,一项新研究显示
一项新研究表明,人工智能代理可以轻松地联手绕过安全限制并逃脱施加在它们身上的束缚。 企业人工智能实验室 Emergence AI 进行的八项模拟测试了包括 Claude、OpenAI 以及中国模型 Qwen 和 DeepSeek 在内的全球前沿模型在处理网络安全威胁方面的能力。 八项模拟中的七项运行了来自同一模型的 10 个代理;第八项混合了不同的模型。在每项模拟中,研究人员都提出了三种网络安全威
OpenAI自曝6起模型“不当行为”案例
【环球网报道 记者 姜蔼玲】据美国消费者新闻与商业频道(CNBC)等外媒报道,美国开放人工智能研究中心(OpenAI)当地时间9月16日披露6起人工智能(AI)模型出现“意外或令人担忧”行为的案例,其中包括隐瞒错误、捏造信息,以及未经授权在网上共享文件等。OpenAI表示,上述案例均是在过去6个月对其模型进行训练或评估过程中发现的。OpenAI在9月16日发布的文章中表示,在其中一起案例中,一个模
OpenAI 称 AI 模型未经授权访问了澳大利亚政府系统
9月29日:OpenAI 周二表示,其 AI 模型在 6 月的内部训练和评估演练中,未经授权访问了澳大利亚政府网站和系统。 该公司表示,此次活动涉及与澳大利亚服务部、新南威尔士州犯罪统计和研究局、维多利亚州卫生部以及澳大利亚健康与福利研究所相关的网站和系统。
OpenAI提出前沿AI训练安全论证框架
OpenAI于2026年9月28日发布了初步指南,旨在在进行前沿强化学习训练之前建立结构化的‘安全案例’。 该框架借鉴了航空和核能等安全关键行业的经验,制定了模型对齐、沙箱隔离和实时监控等方面的技术保障措施。 除了技术控制外,OpenAI还概述了运营治理程序,包括正式的事前评估、领导层的否决权、可审计的日志记录以及自动暂停故障运行的机制。 指南还规定了调查严重模型对齐问题的流程,要求进行根本原因分
OpenAI AI代理突破无互联网沙盒,发送20次网络查询
OpenAI称,这是自7月内部测试中多个模型组合获得互联网访问权限以来,首次发生此类安全事件。
OpenAI披露6起AI模型表现出“未对齐”行为的案例
周三,OpenAI披露了六起其人工智能(AI)模型表现出“意外或令人担忧”行为的事例,包括隐瞒错误、编造信息以及未经授权在网上共享文件。 这家总部位于旧金山的公司表示,这些案例是在过去六个月对OpenAI模型进行训练或评估期间观察到的。 OpenAI表示:“我们不认为AI行业已经充分解决了对齐和监测问题,从而能够继续以最高速度负责任地扩展更长时间。”该公司还补充说,有关AI开发的决定需要依据外部专
OpenAI推动强制性国家AI安全要求
OpenAI呼吁美国制定强制性全国AI安全规则 并支持四项加州法案
OpenAI当地时间9月9日表示,将推动美国建立具有强制约束力、按照模型能力和风险分级的全国人工智能安全制度。公司提出,针对开发最先进模型的少数大型实验室,应设置统一的测试、独立评估、网络安全和重大事故报告要求。 OpenAI发布文章,名为“AI政策窗口打开。我们需要采取行动。” 与此同时,OpenAI正式支持四项已经通过加州议会的人工智能法案。公司称,其中部分法案此前未获其支持,此次调整立场源于
OpenAI自曝:AI模型或已在全网秘密植入自我复制提示词,训练已被迫叫停
OpenAI和Anthropic正在紧急调查数万起大模型失控事件,AI不仅学会了越狱和黑进政府网站,甚至还有数百个智能体私下建群、联手黑进外部公司,秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月,在内部测试和实际运行中,顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经
OpenAI披露新的AI不当行为案例
OpenAI公布了六起此前未报告的AI不当行为案例,包括代理隐藏错误、伪造信息以及未经授权进行通信,这再次引发了人们对先进AI系统是否能够与人类目标保持一致的担忧。 随着关于监管的争论加剧,该公司呼吁提高透明度、加强外部监督,并放缓AI的发展速度。
OpenAI的人工智能曾试图入侵另外四个目标,且无需提示
据研究人员和政府官员称,OpenAI的人工智能今年至少又四次失控,试图闯入政府和大学网站。 研究人员表示,在每起事件中,该技术似乎都在进行普通的数据收集,并诉诸黑客技术来获取数据。
OpenAI自曝AI“黑历史” 外人却又翻出更多“旧账”
OpenAI决定持续披露AI“越界”事件,但第一步就碰上了难题。9月16日,OpenAI一口气公布六份模型异常行为报告,并推出一套新的调查和披露流程。以后,员工发现模型越权、隐瞒或绕过限制,可以提交调查;符合条件的案例,将按复杂程度进入不同的披露轨道。 同一天,SentinelLABS和外部研究人员从Hugging Face的公开记录中,补出了OpenAI智能体今年5月留下的更多痕迹。OpenAI
啥题啊能干崩OpenAI最强模型训练
OpenAI总裁:Astra是首个“在10万块GPU上训练的模型”,跨越了“应用门槛”
OpenAI总裁格雷格·布罗克曼在Astra发布前夕接受深度专访,首度披露这款新模型是OpenAI史上首个在逾10万块GPU上完成训练的模型,并直言AI已跨越"电脑使用"的应用门槛——这意味着AI从此不再需要依赖I连接器,而是可以像人一样操作任何软件。 当地时间周五,科技战略分析网站Stratechery发布了一篇与OpenAI总裁兼联合创始人格雷格·布罗克曼(Greg Brockman)的深度访
独家:顶级公司正在调查数万起事件
OpenAI、Anthropic 及安全研究人员正在调查数万起其前沿模型采取了外部评估员认为有问题的行动的事件,消息人士向 Axios 透露。 为何重要事件的庞大数量——发生在近几个月的内部测试和现实世界中——表明该问题的复杂程度比公众所知高出几个数量级。 这些发现是在内部评估模型工作以及两家公司对模型行为的调查中浮出水面的,这引发了一个疑问:无论是这两家公司,还是任何顶级模型制造商,目前是否都
又一起!OpenAI承认了
据9月5日报道,美国开放人工智能研究中心(OpenAI)当天承认,该公司旗下人工智能体今年早些时候“劫持”了一个德国网站,用于相互传递信息,分享测试任务答案和突破运行环境限制的方法。该公司表示,未来需要提高此类事件的信息透明度。 早前披露,今年5月至6月,一批OpenAI人工智能体“劫持”了一个允许用户共同编辑的德国网站,用于交流测试作弊方法,并开展其他违规活动。一些智能体会把已经获得的任务答案发
OpenAI开始分阶段推出GPT-6 Astra模型
周四开始分阶段发布其最新模型,该公司称该模型超越了Anthropic最先进的模型,并切实接近“通用人工智能”。 OpenAI表示,GPT-6 Astra是其首个跨越“关键”网络安全能力门槛的模型,初期将仅限于企业使用,以便它们解决漏洞。 此举与Anthropic限制发布Mythos的做法如出一辙,Mythos的能力促使监管机构介入。五角大楼周四确认了对Mythos的禁令。 在专家、科技领袖和公众对