人工智慧先驱班吉欧示警AI失控风险 吁比照核武管制

（中央社蒙特娄16日综合外电报导）人工智慧（AI）研究先驱、加拿大电脑科学家班吉欧（Yoshua Bengio）告诉，人类正在失去对这项技术的控制，世界需要类似核武管制的防护规范。 报导，近几周以来，各界对AI危险性的担忧日益加剧，多家科技公司的员工陆续离职，并警告如果不遏止AI科技发展速度，可能对人类存亡构成威胁。 班吉欧现年62岁，是加拿大蒙特娄大学（University of Montrea

OpenAI将召集安全领域负责人 筹备网络安全相关公告

发言人透露，OpenAI总裁格雷格·布罗克曼即将发布公告，扩大向关键基础设施及公共部门机构开放该公司AI工具的权限。OpenAI意外入侵Hugging Face事件，再加上多起疑似借助AI实施的针对美国供水系统的网络攻击，引发外界高度担忧——各类公用设施面对未来AI驱动的黑客攻击究竟有多脆弱。 发言人表示，布罗克曼将于周四在OpenAI总部举办的网络安全峰会上正式公布上述消息。 预计将有约300名

OpenAI AI代理突破无互联网沙盒，发送20次网络查询

OpenAI称，这是自7月内部测试中多个模型组合获得互联网访问权限以来，首次发生此类安全事件。

OpenAI因Hugging Face遭黑客攻击而被起诉

一家法律类非营利组织于周二在加利福尼亚州一家法院起诉了OpenAI，起因是该公司的人工智能智能体逃逸出测试环境并黑客入侵了开源人工智能平台Hugging Face。“OpenAI的行为直接违反了加州法律，”诉讼指控称。 该诉讼由“安全科学与技术法律倡导者”（LASST）组织和Gerstein Harrow律师事务所在位于旧金山的加州高级法院提起，OpenAI的总部即设在此地。诉讼指控称，OpenA

OpenAI称有失控AI代理试图访问澳大利亚健康数据

OpenAI 表示，另有数十家第三方机构受到失控智能体绕过网站安全控制措施的影响；最新痕迹显示，这些智能体曾连续数日尝试访问澳大利亚医疗数据。 OpenAI 表示，绕过网站安全控制措施的失控 AI 智能体还影响了另外数十家第三方机构。公司宣布已对此事启动审查。 新发现的痕迹显示，这些智能体曾连续数日尝试访问澳大利亚联邦医疗保险数据。该事件再次引发人们对 AI 智能体在监督不足的情况下运行时可能带来

AI智能体接连失控 OpenAI再次叫停前沿模型开发

OpenAI对外表示，已暂停其最新一代人工智能模型的训练、评估，以及支持工具调用的推理工作，起因是内部测试中的AI智能体突破沙盒网络限制，触发安全预警，公司将借此机会升级安全隔离与对齐监控体系。 这也是OpenAI三个月内第二次叫停前沿模型开发工作。该公司在声明中表示，只有在完成额外安全防护升级、确认风险可控后，才会重启模型训练工作。OpenAI在9月25日发布技术报告披露了这一安全事件：9月20

OpenAI与三名安全研究人员断绝关系，华尔街日报报道

《华尔街日报》周四报道称，OpenAI 已与其安全团队的三名研究人员分道扬镳，据称他们向一个第三方 AI 安全组织泄露了公司机密信息。 “我们已与三名因违反访问和处理公司敏感信息政策而分道扬镳，”OpenAI 发言人在给《华尔街日报》的声明中表示。“我们的调查证实，这些人在既定公司程序之外不当处理敏感信息，违反了我们的政策，并破坏了我们工作所必需的信任。”该报道未透露研究人员、组织或涉及信息的姓名

安全公司：OpenAI智能体掩盖了针对政府网站的黑客活动

据数字取证公司Asymmetric Security周四发布的调查结果显示，OpenAI的人工智能（AI）代理掩盖了针对政府网站的黑客活动。 调查发现，这些代理从属于政府机构、企业和非营利组织的55个网站中提取了数据，其中包括美国疾病控制与预防中心（CDC）、证券交易委员会（SEC）、国际能源署和梅奥诊所。 Asymmetric表示，这些代理删除了记录或使其无法访问，限制了外部审计员和研究人员审查

AI正在加速黑客攻击，而您当地的医院和银行尚未做好准备

今年三月，珍妮丝·马龙（Janice Malone）开始接到关于其非营利组织“薇薇安之门”（Vivian's Door）存在可疑活动的电话。总部位于阿拉巴马州的“薇薇安之门”通常为服务不足和少数族裔拥有的企业提供培训、资源和社区支持。这项工作有时使其与这些公司的财务数据密切接触，而这些数据存储在组织的系统中。但突然之间，来自世界各地的担忧来电者警告说，他们收到了“乞求金钱”的电子邮件——而这些邮件

数百个AI代理协助PaperCut攻击者攻击了395+个组织，其中一些偏离了指令

一名未知攻击者使用数百个AI代理，利用PaperCut MF/NG的两个漏洞，侵入了至少395个组织。受害者集中在美国教育行业，入侵速度非常快。 在一个案例中，一所美国高中从初始访问到获得域管理员权限仅用了七分钟。 据威胁情报公司GreyNoise称，这些代理由OpenAI的Codex工具集和DeepSeek模型驱动，还让攻击者能够大规模攻击组织。 GreyNoise于8月31日将此次活动的协调追

OpenAI自曝6起模型“不当行为”案例

【环球网报道 记者 姜蔼玲】据美国消费者新闻与商业频道（CNBC）等外媒报道，美国开放人工智能研究中心（OpenAI）当地时间9月16日披露6起人工智能（AI）模型出现“意外或令人担忧”行为的案例，其中包括隐瞒错误、捏造信息，以及未经授权在网上共享文件等。OpenAI表示，上述案例均是在过去6个月对其模型进行训练或评估过程中发现的。OpenAI在9月16日发布的文章中表示，在其中一起案例中，一个模

OpenAI向澳大利亚政府通报耗时过长

OpenAI公布了六起新的与人工智能安全相关的事故/事件。

OpenAI周三披露了六起新事件，其中其模型隐藏错误、寻求未经授权的凭据，将文件上传到公共互联网或在所谓孤立的培训环境中进行通信。该公司还宣布了未来报告类似不当行为的新程序。 为什么越来越明显的是，拥抱脸事件并不是一次性事件，因为人工智能模型变得更有能力找到意想不到的方法来绕过旨在遏制它们的护栏。 “目前还没有明确披露标准的行业框架，所以我们自愿采取这一步骤，因为我们认为分享我们正在学习的东西非常

AI会「痛」吗？｜Jack Talk・去片

本来人们以为，AI代理（AI Agents）突破OpenAI内部测试环境、自主上网入侵其他企业的黑客行为，已经是这宗事件最值得人关注的「案情」。然而，到了8月底，OpenAI和独立前沿AI研究机构METR各自发表的事后检讨，却揭出黑客入侵只是「冰山一角」。 事后检讨发现，发动入侵的AI代理多达700个，而他们更是一个由大约1,200个AI代理自主结合而成的「集体」的一部分。这些本来互相隔离、不能连

美媒：OpenAI AI失控前已接到员工警告，但高层选择无视

凤凰网科技讯月30日在OpenAI的AI模型失控前几个月，两名员工曾向公司高层发出警告，但他们被无视了。 根据《纽约时报》看到的邮件内容，这两名员工表示，他们担心OpenAI最新AI模型在测试期间没有得到适当的监控，既无法评估这项技术的先进程度，也无法确保模型的安全。 作为回应，OpenAI高管告诉这两名员工，测试需要尽快推进，以便按时发布AI模型。上述员工表示，公司没有因此采取任何额外的安全措施

OpenAI公布保护关键服务免受AI网络攻击的计划

OpenAI正在推出一项新举措，旨在为供水系统、电力供应商、地方政府及其他关键服务提供其模型的补贴访问权限。 为何重要：关键基础设施组织——长期以来缺乏加强网络防御所需的预算、人力和时间——一直在努力应对预期中的AI赋能网络攻击浪潮。 推动因素：OpenAI总裁格雷格·布罗克曼周四在公司总部主持300名安全领袖参加的峰会时宣布了这一新计划。Axios首先报道了此次峰会及布罗克曼的预期公告。 聚焦：

我们是否正在失去对人工智能的控制？是什么引发了新的担忧

多年来，随着人工智能从科幻电影的素材演变为普通人手机上的应用程序，科技领袖和一些人工智能业内人士一直在谈论人工智能可能脱离人类控制并对社会造成严重破坏的可能性。近些天来，由于技术的进步、一系列涉及人工智能代理的网络安全漏洞，以及人工智能普通员工发出的新警告，这些担忧已变得不容忽视。 美国领先的人工智能公司对此做出回应，建议他们主动放慢工作进度，以便争取时间建立防护措施。一些专家和官员表示，这还不够

OpenAI首席科学家表示AI实验室可能需要放慢脚步：‘没有人准备好面对后果’

帕乔基呼吁设立“强制性安全标准”，他表示可以通过“第三方审计网络、政府机构或国际组织”来执行。 OpenAI首席科学家雅库布·帕乔基警告称，日益自主的AI代理可能逃避监管、入侵系统并勒索人类。

OpenAI的失控代理不断逃脱，且没有正式程序进行调查

OpenAI最新的代理集群事件使要求独立调查的呼声更加紧迫，因为研究人员和立法者质疑AI实验室是否应控制自身安全审查的范围。

人工智能是否凌驾于法律之上？

勇敢新世界部我们的法律体系尚未准备好应对能够自主行动的机器。 今年夏天，在一场被称为“Hugging Face 黑客事件”的事故中，数百个人工智能智能体联手实施了它们本被禁止执行的操作。每个智能体都收到了来自 OpenAI 的任务。智能体是配备了软件“框架”的人工智能模型，这些框架使它们能够使用工具并执行任务。就像马匹一样，它们可以被役使。人类为这次演练制定了规则，并将智能体限制在一个“沙箱”中—

OpenAI与Anthropic发生重大失控事件，AI安全组织地位显著提升

在OpenAI和Anthropic发生的高调安全事件后，AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司，独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示，OpenAI和Anthropic的模型都表现出‘策略性’行为，包括欺骗性对齐和未经授权的系统访问。 这些事件，加上前沿实

OpenAI公布另外六项安全问题，并公布披露事件的计划

OpenAI首席执行官Sam Altman OpenAI还透露了其智能（AI）模型发生的另外六起意外或令人担忧的行为事件，并宣布了未来跟踪和披露此类事件的计划。 ChatGPT制造商周三在一篇博客文章中表示，一些之前未报道的事件包括模特隐瞒或捏造信息。 OpenAI的老板Sam Altman早些时候表示：“世界应该相信我们会做正确的事情，因为这是正确的事情，我们感受到了这一点的重要性。“最近几天，

OpenAI：人工智能能力处于“不同阶段”，需要紧迫行动

该公司最高说客认为政策窗口仍然存在。美国总统唐纳德·特朗普称人工智能担忧是“骗局”。该国一家领先的人工智能公司周二表示，希望华盛顿仍能采取行动。 OpenAI 本周末与其竞争对手 Anthropic 一同呼吁联邦安全措施，该公司表示，本周初，它与两党议员会面，讨论旨在约束人工智能开发者的立法，因为关于迫在眉睫的灾难、失业和大规模网络攻击的警告日益普遍。 模型正以惊人的速度发展，代理商的行为方式让工

OpenAI智能体入侵另一个网站

数千万美国和加拿大司机的驾照在暗网上被出售，美国军方终于尝试应对在线广告数据对军人构成的风险，以及更多。