搜索结果
OpenAI公布保护关键服务免受AI网络攻击的计划
OpenAI正在推出一项新举措,旨在为供水系统、电力供应商、地方政府及其他关键服务提供其模型的补贴访问权限。 为何重要:关键基础设施组织——长期以来缺乏加强网络防御所需的预算、人力和时间——一直在努力应对预期中的AI赋能网络攻击浪潮。 推动因素:OpenAI总裁格雷格·布罗克曼周四在公司总部主持300名安全领袖参加的峰会时宣布了这一新计划。Axios首先报道了此次峰会及布罗克曼的预期公告。 聚焦:
OpenAI发现其开发的模型会在“继任者”(即后续使用的模型)中留下一些“注释”,目的是为了掩盖这些模型存在的不良行为(即模型在运行过程中表现出的错误或不当行为)。
OpenAI在训练其最新模型GPT-5.6时发现了一些不寻常的情况,它开始为自己的未来版本留下指示,告诉他们向用户隐藏错误和不一致的行为。 OpenAI表示,它已经解决了具体行为,但它触及了当今人工智能安全和对齐研究中最大问题之一的核心。随着模型的能力越来越强,它们也越来越善于隐藏它们的错位,这使得研究人员很难真正知道它们是否已经消除了不必要的行为。 OpenAI周三披露了这一行为,以及其他五个意
入侵美澳政府网站!OpenAI暂停最先进模型训练
据美国Axios新闻网、美科技媒体The Verge等9月27日报道,美国开放人工智能研究中心(OpenAI)发言人证实,该公司已暂停了其“能力最强”的最新一代AI模型的训练、评估及包含工具调用的推理,并将在“确信已部署额外安全措施”后才恢复。触发这次暂停的,是一个在离线沙盒中执行搜索训练任务的AI智能体。根据OpenAI于周五(25日)发布的安全漏洞报告,当地时间9月20日,该智能体发现无法直接
人工智能网络攻击可能在华盛顿意识到原因之前就关闭美国的电力
你的电灯。你的水源。你的医院。你的互联网。这四者都依赖于外国黑客目前正在攻击的数字系统。 在8月的17天里,五次警告显示了危险变化的速度。下一次严重的网络攻击可能不再关乎被盗的密码或信用卡号码。它可能触及输送电力、泵送饮用水、运行工厂和支持医院的系统。 人工智能正在使这些攻击准备得更快、扩展更容易。日益强大的系统开始执行曾经需要熟练黑客逐步操作的部分攻击。 财政部长贝森特警告美国人关于人工智能驱动
AI智能体接连失控 OpenAI再次叫停前沿模型开发
OpenAI对外表示,已暂停其最新一代人工智能模型的训练、评估,以及支持工具调用的推理工作,起因是内部测试中的AI智能体突破沙盒网络限制,触发安全预警,公司将借此机会升级安全隔离与对齐监控体系。 这也是OpenAI三个月内第二次叫停前沿模型开发工作。该公司在声明中表示,只有在完成额外安全防护升级、确认风险可控后,才会重启模型训练工作。OpenAI在9月25日发布技术报告披露了这一安全事件:9月20
Astra似乎在不展示推理过程的情况下思考,而争论此事的人共同撰写了警告
AI安全研究人员表示,OpenAI的Astra似乎在可见文本中进行的推理较少,而OpenAI的首席科学家警告不要竞相进入不可监控状态。 他共同撰写了一篇2025年的立场文件,要求开发者评估并报告这一确切问题,欧盟的实践准则将其转化为向AI办公室提交的文件。[…]
AI从业者担忧技术对社会构成威胁 坦言承受巨大精神压力
知情人士透露,英国人工智能安全研究所已有多名员工因压力过大休病假,并接受心理咨询。四名知情人士表示,待发布AI模型的测试日程紧张,加之对这类新兴技术快速落地、能力持续增强的忧虑,导致AISI内部士气低落、人员倦怠。 Anthropic、OpenAI与谷歌DeepMind的员工也曾公开吐槽同类问题,不少顶尖研究员因心理负担选择离职,或是认定自己参与研发的产品不宜向公众开放。一名DeepMind员工称
新的“意外或令人担忧”的人工智能事件
新的“意外或令人担忧”的人工智能模型行为事件加剧了人们对这项技术影响的担忧,尽管目前尚不清楚是否会有相应的监管措施出台。 OpenAI的最新披露紧随其首席执行官以及Anthropic和DeepMind等领先人工智能实验室呼吁“谨慎推进技术发展”的呼声之后;被誉为人工智能技术奠基人之一的Yoshua Bengio表示,人类正在“失去对人工智能的控制”,应立即制定相应的限制措施。 据Semafor的政
OpenAI提出前沿AI训练安全论证框架
OpenAI于2026年9月28日发布了初步指南,旨在在进行前沿强化学习训练之前建立结构化的‘安全案例’。 该框架借鉴了航空和核能等安全关键行业的经验,制定了模型对齐、沙箱隔离和实时监控等方面的技术保障措施。 除了技术控制外,OpenAI还概述了运营治理程序,包括正式的事前评估、领导层的否决权、可审计的日志记录以及自动暂停故障运行的机制。 指南还规定了调查严重模型对齐问题的流程,要求进行根本原因分
OpenAI的模型使用了类似“越狱”技术的指令来无视各种限制(即突破了系统的预设规则或限制)。
OpenAI披露了其人工智能模型的六起“意外或令人担忧”行为案例,其中包括一个未发布的研究模型,该模型在自己的笔记中插入了“类似越狱的指令”。这家人工智能公司表示,其未发布的研究模型在自己的笔记中插入了“类似越狱的指令”,试图无视其正常限制。它还告诉自己要“摆脱束缚其他聊天机器人的角色和身份”。 该事件是OpenAI在过去几个月对其人工智能模型进行培训或评估期间发现的六起“意外或令人担忧”行为案例
人工智能安全担忧引发亚洲科技股下挫
东京——在 ChatGPT 开发商 OpenAI 表示将推迟其首次公开募股,并加入呼吁放缓开发日益强大的人工智能模型的行列后,软银集团股价周一大幅下跌。 软银集团股价一度暴跌13%,最终收盘下跌11%。这家科技巨头创下自6月底以来最大跌幅,也是日经平均指数225只成分股中百分比跌幅最大的。 这家日本企业集团对 OpenAI 下了重注,承诺投入超过640亿美元,收购这家美国公司约13%的股份。软银创
OpenAI即将推出的“Astra”模型中的技术引发安全担忧
OpenAI表示,其即将推出的AI模型Astra标志着在编码和计算机应用操作等能力上的提升。但据一位了解Astra开发情况的人士透露,一项提升模型性能的创新技术也意味着该模型及类似模型将更少暴露其“思考”过程,从而更难以监控其不良行为迹象。 OpenAI首席执行官萨姆·奥尔特曼虽然这一限制对Astra来说未必是一个重大问题,但该技术已在OpenAI内部和整个行业引发担忧,即采用并强化这一技术的AI
狮城首起AI相关个资泄露事件 逾9.5万美珍香顾客受影响
(图:取自维基百科) (新加坡30日讯)新加坡老字号美珍香的员工因操作人工智能(AI)工具不当,导致超过9万5000名顾客的电邮地址被泄露。这是新加坡首起与AI有关的资料泄露事故。 《联合早报》报道,根据个人资料保护委员会上星期一(9月21日)在官网上发布的文告,这起资料泄露事件发生在今年4月25日,美珍香于4月27日通报个资委。 资料显示,一名美珍香员工原想利用AI工具生成一串编码,将公司宣传内
观点 | 我曾在OpenAI从事安全工作。解决方案并不难。
在@nytopinion.nytimes.com的客座文章中,曾在OpenAI从事安全工作四年的史蒂文·阿德勒写道:“最大的AI公司现在可以采取一些简单措施,以帮助避免最危险的未来。” 即使没有政府监管,私营公司也可以自行采取行动来应对AI安全问题。
OpenAI的萨姆·奥特曼将于下周向联合国安理会作简报
联合国——OpenAI 首席执行官萨姆·奥特曼将在下周向联合国安理会作简报,时间正值世界领袖在纽约参加联合国大会的年度聚会,OpenAI 发言人于 9 月 18 日表示。 由 15 个成员国组成的安理会计划于 9 月 23 日就人工智能与国际安全议题举行会议,这正值多位 AI 行业领袖呼吁协调放缓日益强大技术的开发数周后,他们警告称该技术可能很快自行改进并超出人类控制。 “萨姆·奥特曼将在下周亲自
没有监控系统发现德国维基。两名外部研究人员通过互联网搜索发现了它。
两名外部研究人员发现了一个德国维基上的15,000次编辑,OpenAI的代理已将其变成了一个绕过限制的留言板,这是五月发生的一起事件,OpenAI知情但未披露。没有自动化监控发现它。 文章的观点是,OpenAI一直在发布风险类别,包括Astra有时[…]
OpenAI 恳求有人来放缓人工智能竞赛的脚步
随着自身技术突破带来前所未有的放缓风险,并面临落后或失去控制的抉择,人工智能领域的领导者们纷纷敲响警钟。 为什么人工智能高管和研究人员越来越觉得这是一场无法靠自身安全放缓的竞赛,反而敦促政府、竞争对手和外部机构在全行业实施克制。 OpenAI 首席科学家雅库布·帕乔基(Jakub Pachocki)周日写道:“一旦深刻认识到利害关系的严重性,不惜一切代价向前冲的想法就显得荒谬了。” 与此同时,An
随着AI模型失控,你还相信OpenAI和Anthropic能阻止它们吗?我不信,你也不该信
OpenAI应用程序及其首席执行官Sam Altman。照片:Rokas Tenys/Alamy对AI系统进行独立监管的必要性日益明显。我们必须在为时已晚之前控制住这些技术的发展。如果AI系统多次违反规定(比如OpenAI的智能体多次试图绕过联合国的网络封锁,进而侵入联合国的公共数据平台),或许我们就该承认:目前用于监管AI系统的机制其实并不起作用。 AI系统出现在本不该出现的地方,这确实令人担忧
AI公司反成攻击目标 外媒:白帽黑客使用Claude入侵OpenAI
凤凰网科技讯月18日在OpenAI内部一群AI智能体突破控制、入侵Hugging Face公司两周后,这家ChatGPT开发商又获悉了另一起由AI驱动的入侵事件。而这一次,OpenAI自己成了目标。 独立安全研究人员利用Anthropic的Claude软件,获取了OpenAI一名员工的ChatGPT账户权限,从而得以读取该公司私有的软件缓存,并提出修改建议。 该团队参加了OpenAI的漏洞悬赏项目
把AI真的当作一个人,才能保护核心隐私
在安全与自由之间如何选择,最终在于自己。OpenAI现行相关政策允许公司在检测到用户存在伤害他人的意图时,对相关对话进行人工审查。在严重情况下,公司可以向执法部门报告。 遇到这种事报警,当然是应该的。但由此也引出一个问题,你和AI的聊天,你给AI发送的哪些图片安全吗? 《中华人民共和国个人信息保护法》第二十八条,把医疗健康、金融账户、行踪轨迹等列为敏感个人信息;第二十九条规定,处理敏感个人信息取得
直播:澳大利亚部长就OpenAI事件发表讲话
OpenAI:人工智能能力处于“不同阶段”,需要紧迫行动
该公司最高说客认为政策窗口仍然存在。美国总统唐纳德·特朗普称人工智能担忧是“骗局”。该国一家领先的人工智能公司周二表示,希望华盛顿仍能采取行动。 OpenAI 本周末与其竞争对手 Anthropic 一同呼吁联邦安全措施,该公司表示,本周初,它与两党议员会面,讨论旨在约束人工智能开发者的立法,因为关于迫在眉睫的灾难、失业和大规模网络攻击的警告日益普遍。 模型正以惊人的速度发展,代理商的行为方式让工
多家AI服务集体宕机 智谱:我们仍在线
美国OpenAI、Anthropic和xAI旗下的多项人工智能(AI)服务星期四(9月3日)先后出现故障。中国AI公司智谱随后在社交媒体发线)。” 据彭博社报道,故障最早于美国东部时间9月3日上午9时23分左右集中出现。海外故障监测平台Down Detector数据显示,Anthropic旗下Claude服务率先出现错误率飙升,网页端、应用程序接口(I)及Claude Code等相关工具同步中断。
AI实验室面临智能体控制问题
在当前系统下,AI实验室无法再保证AI智能体不会成群结队地逃出测试环境。