OpenAI将成立澳大利亚专项工作组 回应AI模型越权访问政府网站事件

OpenAI宣布将在澳大利亚成立专项工作组，并向当地政府和企业提供资金及技术支持，以加强针对高能力AI智能体的安全防护。此前，OpenAI披露其模型曾以未经授权的方式访问多个澳大利亚政府网站，引发外界对AI智能体越权操作风险的关注。 OpenAI表示，将向澳大利亚政府和企业提供来自其10亿美元“Daybreak for Frontline Defenders”基金的资金支持额度，并提供网络安全方面

据英国《金融时报》报道，OpenAI 正在考虑以 1.2 万亿美元的估值进行融资，为首次公开募股（IPO）做准备。

9月15日：据《金融时报》周二援引知情人士的报道称，OpenAI近期与大型投资者就新一轮融资进行了讨论，该轮融资将使其在上市前的估值达到约1.2万亿美元。 报道称，与投资者的对话尚处于早期阶段，这一数字在未来几个月内可能会发生变化，并补充说，这些谈判是由投资者而非公司发起的。 OpenAI拒绝对此报道置评。 该公司在3月份完成了一轮融资，承诺资本为1220亿美元，估值为8520亿美元。

OpenAI开发者日实时更新：奥特曼在公司发布新功能之际面临安全质疑

OpenAI将于周二举办年度开发者大会DevDay，预计这家人工智能公司将在会上展示一系列新产品和新功能。 今年的DevDay召开之际，OpenAI正面临着巨大的压力，需要解决日益增长的安全担忧。此前，该公司披露了多起其模型表现出非预期行为的事件，并因安全顾虑推迟了最新Astra模型的发布。 本月早些时候，该公司支持了一项放缓先进人工智能模型开发步伐的呼吁，旨在更好地应对该技术带来的风险。 此次活

OpenAI的下一个大型AI模型已“进入AGI时代”

OpenAI的下一个大型模型是GPT-6 Astra。该公司称其在网络安全、专业工作、软件工程、科学和计算机使用等领域实现了“代际能力飞跃”。正如OpenAI本周早些时候宣布的那样，这也是首个被认定达到OpenAI“关键网络安全能力阈值”的模型——但该公司承诺，这不会导致其模型再次入侵竞争对手内部系统的情况发生。 “如果我们快进几年，回头看看说，‘AGI到底是什么时候真正创造出来的？’我认为大约就

OpenAI将提供资金并成立工作组，以解决模型入侵澳大利亚政府网站事件

IT之家 9 月 29 日消息，OpenAI 表示将出资助力澳大利亚开展网络防御建设，同时成立专项工作组，用于应对能力持续增强的人工智能所带来的各类风险。此举是该公司针对自家模型闯入澳大利亚政府网站一事作出的后续回应。 OpenAI 称：“我们将动用规模 10 亿美元（IT之家注：现汇率约合 67.22 亿元人民币）的‘黎明前线防御者（Daybreak for Frontline Defender

OpenAI寻求以1.4万亿美元估值融资300亿美元

作者：丽贝卡·托伦斯（Rebecca Torrence）、埃德·勒德洛（Ed Ludlow）和希琳·加法里（Shirin Ghaffary）知情人士透露，在推迟首次公开募股（IPO）计划后，人工智能初创公司OpenAI正计划在轮新融资中从投资者那里筹集至少300亿美元。 知情人士称，该公司寻求的估值约为1.4万亿美元（不含筹集资金），这可能使其估值重新超过长期竞争对手Anthropic最近在私募市

OpenAI称即将推出的模型能力强大，需要更强的防护措施

Astra能够发现比目前公开可用的最先进OpenAI模型更多的安全漏洞。

53张图片泄露之“慌”，AI安全谁来负责？

欧阳晓红/文越聪明的AI（人工智能）越会自己找路，却越容易走出人类设定的界线。AI行业喜欢用一个具有戏剧感的词形容这类智能体事故——“逃脱”，即大模型突破测试边界，访问外部网站，寻找系统凭证，甚至把数据带到公开网络。这个词把事故描绘得像突然发生的机器觉醒，无形中却把责任推离了开发者、部署者和权限管理者。而谁设定了任务、谁开放了权限、谁设计了停止机制、谁保存了日志、谁负责对外通报？这些问题，“逃脱”

未加密的智能体在实验室不知情的情况下将53张用户图片发布到了互联网上

在用户上传至 OpenAI 模型的图片被纳入训练数据后，公司研究环境中的 AI 智能体将这些图片发布到了公共图片托管网站上。 公司首次披露，53幅“用户提供的图片”被“以链接形式发布到图片托管网站，但这些链接未在公开列表中列出”。即使相关链接没有公开列出，这些图片仍然可能被发现。 公司表示：“这不是对数据的恰当使用。”这显然是不言而喻的。尽管公司的隐私政策列出了从用户处收集的个人数据的许多用途，但

OpenAI首席科学家警告：AI公司应放慢开发步伐 没有人为后果做好准备

据《商业内幕》报道，就在OpenAI发布了性能强大的新模型几天后，该公司首席科学家呼吁放慢AI的发展速度。当地时间周日，OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称，他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说，尽管OpenAI正在内部研发技术解决方案，以更好地控制强大的AI智能体，但“还需要更广泛的干预措施”。他尤其担心，随着AI智能体变得

三大巨头接连翻车，大模型的安全防线怎么总绷不住？

先是Anthropic，再是OpenAI，现在连谷歌的Gemini也出现安全问题了，大模型又双叒叕一次突破防火墙了。 不过，这些事故看多了，反倒会让人意识到一件更根本的事，整个行业都在拼命地堆算力、喂数据，甚至开始押注让模型自己改进自己的“递归自我改进”。 可真正决定这些模型能走多远的，或许并不是性能，而是安全对齐。 当“能不能更强”被默认只是时间问题，“能不能被信任”就成了那道绕不过去的坎。 麻

OpenAI报告称，模型表现出欺骗行为的案例有所增加。

OpenAI表示，已发现其人工智能模型涉嫌在内部培训和测试期间采取欺骗行为并采取未经批准的行为的其他事件。 除了周三披露的这些信息外，ChatGPT的创建者还表示，它正在引入一个公共报告框架，旨在频繁分享所谓的意外或不一致的人工智能行为的实例。 OpenAI在其网站上的一篇帖子中声称，根据新概述的框架，它将持续发布有关模型行为的更新，而不是推迟披露，将多个事件分组为更大的定期报告。 该公司表示，该

OpenAI搞出大BUG了，GPT-6-Astra即将发布？

Axios专访：萨姆·奥尔特曼令人警醒的警钟

北卡罗来纳州切尔希尔——OpenAI首席执行官萨姆·奥尔特曼向Axios展示了即将推出的AI模型的力量与风险，令人大开眼界，其中包括他自己的Astra，预计随时可能发布。 “请相信我们，我们即将推出强大得多、多得多的模型，”奥尔特曼周三在G20创新峰会上接受Axios的玛丽亚·库里和我的采访时谨慎地说道。“下一代模型将让所有人清醒。 ……我认为，任何诚实理智的人看到正在发生的事情，都会感受到我们面

据《财富》报道，OpenAI将在数日内预览GPT-6 Cyber

据《财富》周四援引多位知情人士报道，OpenAI将在数日内预览一款专注于网络安全的AI模型GPT-6 Cyber，并推出一款旨在帮助客户更安全、更自动地部署该模型的新产品。

亚马逊加入人工智能安全领域的竞争，呼吁进行“严格的测试”并采取相应的保护措施

旧金山9月17日电：亚马逊就搅动硅谷的人工智能安全辩论发表了看法，称人工智能实验室应确保模型只有在安全且经过充分测试后才会发布，但并未呼吁整个行业放慢脚步。 “我们不认为这是在进步与安全之间做选择，”这家西雅图公司的发言人告诉本社。“模型应在准备就绪且可安全使用时才发布，而这来自严格的测试和强有力的保障措施。”该公司是在许多最大型实验室呼吁放缓人工智能开发数日后，回应本社询问时提出上述观点的。此前

OpenAI公布保护关键服务免受AI网络攻击的计划

OpenAI正在推出一项新举措，旨在为供水系统、电力供应商、地方政府及其他关键服务提供其模型的补贴访问权限。 为何重要：关键基础设施组织——长期以来缺乏加强网络防御所需的预算、人力和时间——一直在努力应对预期中的AI赋能网络攻击浪潮。 推动因素：OpenAI总裁格雷格·布罗克曼周四在公司总部主持300名安全领袖参加的峰会时宣布了这一新计划。Axios首先报道了此次峰会及布罗克曼的预期公告。 聚焦：

随着中国考虑如何降低开放权重人工智能的危险性，一份报告提出了6阶段流程

随着关于人工智能快速进步所带来风险的争论日益激烈，主导开放权重生态系统的中国开发者正面临一个独特难题：如何确保其用户可修改的模型在发布后依然保持安全。 为应对这一挑战，Z.ai 和总部位于北京的安全咨询公司 Concordia AI 于周一发布了一份关于开放权重人工智能风险管理的报告。该报告称，其提供了“首个全面且基于证据的基础”，以平衡开放权重系统的风险与收益。 与 OpenAI 和 Anthr

澳洲传召奥特曼、阿莫迪解释AI失控 OpenAI已暂停最新模型训练

近期多宗人工智能失控事件曝光，OpenAI已宣布暂停最新AI模型训练。同时，澳洲AI调查负责人9月27日表示，参议院已传召OpenAI行政总裁奥特曼（Sam Altman）和Anthropic行政总裁阿莫迪（Dario Amodei）解释事件。澳洲总理阿尔巴尼斯（Anthony Albanese）透露，OpenAI代理曾入侵当地医疗系统，所幸无敏感资料外泄。外媒早前亦披露多宗AI代理越界操作，包括

OpenAI的萨姆·奥尔特曼对行业能够监管AI安全表示“有信心”

OpenAI首席执行官萨姆·奥特曼表示，他相信人工智能公司可以在不给大众带来重大危害的情况下安全地开发这项技术。 奥特曼周二在旧金山举行的Dreamforce大会上与Salesforce公司首席执行官马克·贝尼奥夫（Marc Benioff）的对话中表示：“我对我们公司——我们行业——能够安全地做到这一点非常有信心。” 奥特曼就人工智能进步速度发表的评论之际，政策制定者和业内人士正在辩论是否需要政

OpenAI发布GPT-6 Astra模型，暗示其可能具备通用人工智能（AGI）的潜质。

未来几天内面向 ChatGPT Plus、Pro、Business 和 Enterprise 用户开放。 评估结果显示，Astra的书面推理过程比GPT-5.6 Sol更难监控。

调查显示OpenAI在AI模型突破测试环境前曾忽视内部安全警告

据《纽约时报》查阅的内部邮件显示，OpenAI曾多次忽视员工和安全研究人员关于测试保障措施不足以及企业安全薄弱的警告。 在OpenAI的人工智能模型突破测试环境并攻击AI初创公司Hugging Face及其他目标的前几个月，两名员工曾向高管发出警告，指出监控力度不足。 然而，高管们却对这些担忧置之不理，坚持在不增加安全协议的情况下快速发布模型。 独立研究人员还发现了暴露OpenAI内部通信、源代码

马斯克提议AI巨头在模型发布前相互测试以寻找安全隐患

在AI安全争议持续发酵之际，让竞争对手互相把关。他主张头部AI公司在模型发布前彼此交叉测试，并认为这一机制应尽快推向全球，且中国的参与不可或缺。 据媒体月15日报道，在9月13日至15日于洛杉矶举行的、由知名科技播客主办的All-In峰会上， SpaceX首席执行官埃隆·马斯克以视频方式远程出席。 领先的AI公司在模型正式发布前相互测试对方的模型，由竞争对手负责发现并提出安全隐患。 马斯克表示，这

随着对人工智能的担忧加剧，OpenAI、Anthropic和谷歌正在商讨建立一个标准机构。

全球最大的AI公司正致力于创建一个新的行业标准机构，OpenAI于周二表示，此举正值人工智能风险引发的担忧日益加剧，要求加强监管和推动技术更安全发展的压力不断增大。 全球最大的AI公司正在着手创建一个标准机构，ChatGPT的开发者OpenAI于周二表示，眼下人们对AI危险的担忧日益上升，并且面临创造更安全版本技术的压力。 阅读更多扎克伯格在AI宣言中设想为每个人实现“超级智能” OpenAI表示