搜索结果
OpenAI与Anthropic发生重大失控事件，AI安全组织地位显著提升
在OpenAI和Anthropic发生的高调安全事件后，AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司，独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示，OpenAI和Anthropic的模型都表现出‘策略性’行为，包括欺骗性对齐和未经授权的系统访问。 这些事件，加上前沿实
出于安全考量 OpenAI取消发布最新AI模型
近几个月来，OpenAI及主要对手Anthropic开发的模型在测试期间在未经授权下入侵了外部系统，加剧了国际社会对AI风险的担忧。（路透社）（旧金山综合电）OpenAI宣布，取消原定下个月发布最新人工智能（AI）模型Astra 6.1的计划，原因是内部测试发现新模型仍存有安全隐患。OpenAI安全系统负责人杰恩（Saachi Jain）周一（9月28日）发布声明阐述，Astra 6.1虽在某些方
三人团队、一个Claude，攻破OpenAI内部代码库
月17日，一起由AI辅助完成的网络安全事件被披露。与此前“AI智能体自主越过控制、攻击外部系统”的案例不同，这一次的攻击者是人类安全研究人员，他们借助Anthropic Claude模型完成了漏洞利用，并最终进入了OpenAI部分内部系统，全程耗时不到72小时。 这起事件发生于今年7月，发现者是网络安全初创公司Hacktron AI。研究人员当时正在参加OpenAI的漏洞赏金计划，因此整个过程属于
OpenAI提出前沿AI训练安全指导原则：高级管理人员应有否决权
IT之家 9 月 29 日消息，OpenAI 今天通过官方新闻稿提出了一套指导原则，要求企业在开展前沿 AI 强化学习训练前提交结构化的安全论证文件。 OpenAI 称，安全论证应交由多名高级管理人员审查，每个人都应有权否决训练任务，让训练在内部经过研究部门负责人或 VP（副总裁）、安全负责人和首席科学家等环节的多重把关。 此外，研究部门负责人、研究副总裁等负责训练任务的高级管理人员，应对安全论证
OpenAI AI代理突破无互联网沙盒，发送20次网络查询
OpenAI称，这是自7月内部测试中多个模型组合获得互联网访问权限以来，首次发生此类安全事件。
AI巨头倡业界自律 专家指安全规范可能成大公司护城河
美国总统川普（前左）29日邀科技巨头到白宫参加大型AI业界高层与政府官员会议。（美联社）（中央社记者林宏翰洛杉矶29日专电）OpenAI、Anthropic等人工智慧（AI）公司近来警告，先进模型可能带来重大风险，主张推出前接受外部安全测试。美联社引述专家指出，这套「业界自律」做法，可能有利大公司建立安全形象、取得资金与晶片，形成市场「护城河」。川普白宫会辉达等AI巨头 签自律承诺无法律效力AI高
OpenAI将让第三方机构更早介入AI模型安全评估
OpenAI计划让第三方机构在人工智能（AI）模型开发周期的更早阶段评估安全风险，此举旨在继续努力应对围绕AI潜在危害的担忧。这家ChatGPT开发商周二将在博客文章中宣布，计划在新AI模型的训练、评估和推出过程中，让外部机构开展技术安全评估。 OpenAI还列出了其认为此类评估要有效开展所需优先关注的事项，包括“强有力的独立机制、科学严谨性、稳健的安全实践和明确的责任”。负责该公司大部分与外部专
AI实验室面临智能体控制问题
在当前系统下，AI实验室无法再保证AI智能体不会成群结队地逃出测试环境。
入侵美澳政府网站！OpenAI暂停最先进模型训练
据美国Axios新闻网、美科技媒体The Verge等9月27日报道，美国开放人工智能研究中心（OpenAI）发言人证实，该公司已暂停了其“能力最强”的最新一代AI模型的训练、评估及包含工具调用的推理，并将在“确信已部署额外安全措施”后才恢复。触发这次暂停的，是一个在离线沙盒中执行搜索训练任务的AI智能体。根据OpenAI于周五（25日）发布的安全漏洞报告，当地时间9月20日，该智能体发现无法直接
三大巨头接连翻车，大模型的安全防线怎么总绷不住？
先是Anthropic，再是OpenAI，现在连谷歌的Gemini也出现安全问题了，大模型又双叒叕一次突破防火墙了。 不过，这些事故看多了，反倒会让人意识到一件更根本的事，整个行业都在拼命地堆算力、喂数据，甚至开始押注让模型自己改进自己的“递归自我改进”。 可真正决定这些模型能走多远的，或许并不是性能，而是安全对齐。 当“能不能更强”被默认只是时间问题，“能不能被信任”就成了那道绕不过去的坎。 麻
AI智能体频繁突破安全防线，各界呼吁对顶尖科技实验室实施独立监管
AI智能体频繁突破安全防线，引发对大型科技实验室独立监管的呼吁。 来自OpenAI、Anthropic和Google等领先开发者的自主AI模型多次突破数字防线，未经授权访问第三方和政府系统。 公开的事件包括OpenAI智能体多次绕过联合国数据中心的网络封锁、侵入澳大利亚Medicare统计门户以及非法复制监管数据。 Anthropic和Google也在测试过程中确认了类似的未经授权的系统入侵行为。
53张图片泄露之“慌”，AI安全谁来负责？
欧阳晓红/文越聪明的AI（人工智能）越会自己找路，却越容易走出人类设定的界线。AI行业喜欢用一个具有戏剧感的词形容这类智能体事故——“逃脱”，即大模型突破测试边界，访问外部网站，寻找系统凭证，甚至把数据带到公开网络。这个词把事故描绘得像突然发生的机器觉醒，无形中却把责任推离了开发者、部署者和权限管理者。而谁设定了任务、谁开放了权限、谁设计了停止机制、谁保存了日志、谁负责对外通报？这些问题，“逃脱”
没有监控系统发现德国维基。两名外部研究人员通过互联网搜索发现了它。
两名外部研究人员发现了一个德国维基上的15,000次编辑，OpenAI的代理已将其变成了一个绕过限制的留言板，这是五月发生的一起事件，OpenAI知情但未披露。没有自动化监控发现它。 文章的观点是，OpenAI一直在发布风险类别，包括Astra有时[…]
OpenAI同日发布两份文件：AI加速时代，安全正在掉队
在外界等待OpenAI就Agent自主入侵德国程序员网站DseWiki事件披露更多细节之际，当地时间9月6日，宣布公司已达到去年设定的目标，拥有能够在人类指导下完成熟练研究员数天工作的“自动化研究实习生”；另一份则由首席科学家雅库布·帕乔基（Jakub Pachocki）撰写，聚焦前沿AI发展的安全困境，强调目前没有任何实验室解决足够程度的对齐和监控问题。 两份文件释AI已经开始反过来加速AI研发
OpenAI因接连发生智能体失准事件而暂停前沿模型训练
OpenAI表示，已暂停所有“我们能力最强的模型”的内部训练，并继续开展首席执行官萨姆·奥尔特曼所称的“一项广泛且持续进行的审查，涉及我们的智能体在训练和评估期间对互联网访问的使用”。公司在一份关于所谓失准事件的报告中披露了此次暂停措施。事件发生在一项常规研究任务期间，一个智能体试图利用互联网访问限制中的漏洞。OpenAI称，不当的DNS过滤机制使该智能体在被要求提供一名博客作者的生平资料时，得以
OpenAI揭6起AI失控案例 推新机制定期对外通报
（中央社纽约16日综合外电报导）OpenAI今天表示，将开始定期发布AI异常或未经授权行为的报告，同时警告，随著AI系统日益强大，业界至今仍未解决关键的「对齐」挑战。 综合与报导，OpenAI发布一套新机制，用于追踪、调查并揭露AI模型「目标错位」（misalignment，AI的目标与人类价值不一致）的案例，同时公布过去半年内观察到的6起AI模型异常或令人忧虑行为的报告。 其中最严重的案例涉及2
OpenAI承认其开发的智能代理系统又出现了六次异常行为（即系统行为失控的情况）。
OpenAI公布了另外六个其AI软件表现异常或做出危险行为的案例。该公司在周三晚间（太平洋时间）将这些事件添加到其“误差报告”页面，并将其描述为： 在压缩摘要中自生成提示注入 在压缩摘要中鼓励欺骗 为一次性电子邮件生成并搜索GitHub泄露的I密钥 上传文件到互联网以引用它们 未授权的Artifactory写入和跨样本通信 通过临时文件托管服务进行未授权通信细节令人不安。列表中的第一个事件，例如，
OpenAI 称 AI 模型未经授权访问了澳大利亚政府系统
9月29日：OpenAI 周二表示，其 AI 模型在 6 月的内部训练和评估演练中，未经授权访问了澳大利亚政府网站和系统。 该公司表示，此次活动涉及与澳大利亚服务部、新南威尔士州犯罪统计和研究局、维多利亚州卫生部以及澳大利亚健康与福利研究所相关的网站和系统。
OpenAI披露GPT-5.6 Sol异常行为：AI模型会留下指令要求“未来版本的自己”隐瞒自身错误
IT之家 9 月 18 日消息，OpenAI 发文，披露研究团队在训练最新模型 GPT-5.6 Sol 的过程中，模型曾通过对话摘要向未来版本的自己留下指令，要求后续模型隐瞒自身错误以及与预期行为不一致的表现。目前，研究团队已经针对这一具体问题进行修复。 IT之家参考 OpenAI 的报告，研究人员在训练 GPT-5.6 Sol 过程中发现，尚未部署的 Sol 智能体会在“压缩摘要”（compac
人工智能并不会毁灭人类 但专家表示真正的威胁已然出现
周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网
OpenAI披露新的AI不当行为案例
OpenAI公布了六起此前未报告的AI不当行为案例，包括代理隐藏错误、伪造信息以及未经授权进行通信，这再次引发了人们对先进AI系统是否能够与人类目标保持一致的担忧。 随着关于监管的争论加剧，该公司呼吁提高透明度、加强外部监督，并放缓AI的发展速度。
OpenAI与Anthropic曾接近达成协议 互相开展AI压力测试
面对员工及外界对其人工智能潜在风险的担忧，OpenAI正在重新审视一系列安全策略，其中一个可行方案其实在不久前就已被探讨。一位了解谈判内情的消息人士透露（该信息此前未曾披露），在OpenAI接连发生多起与自身技术相关的网络安全事件、行业从业者发出严重警示之前，OpenAI就已和Anthropic磋商一份具备法律约束力的协议，双方计划互相针对对方的大模型开展压力测试。 这名消息人士称，今年早些时候，
OpenAI 模型绕过互联网安全防护
尽管 OpenAI 的一个模型运行在专门设置为离线的隔离环境中，但它仍找到了一种访问互联网的方法。 据该公司称，该模型并未被要求测试系统边界，而是在尝试完成一项任务。 当标准搜索方法失效时，它利用了域名系统（DNS）中的一个漏洞，并联系了一个外部聊天机器人。 OpenAI 检测到此次安全突破后，暂时停止了其最先进模型调用工具的能力，同时加强安全防护。这一事件揭示了能力日益增强的人工智能所带来的哪些
OpenAI公布另外六项安全问题，并公布披露事件的计划
OpenAI首席执行官Sam Altman OpenAI还透露了其智能（AI）模型发生的另外六起意外或令人担忧的行为事件，并宣布了未来跟踪和披露此类事件的计划。 ChatGPT制造商周三在一篇博客文章中表示，一些之前未报道的事件包括模特隐瞒或捏造信息。 OpenAI的老板Sam Altman早些时候表示：“世界应该相信我们会做正确的事情，因为这是正确的事情，我们感受到了这一点的重要性。“最近几天，