黑客入侵了 OpenAI，进一步加剧了人们对网络安全问题的担忧。

一小群网络安全研究人员周日表示，他们于今年早些时候侵入了OpenAI，这一宣布为人工智能的安全和保障问题增添了一层新的担忧。 来自一家名为Hacktron的小型公司的研究人员发现，通过将两个未知漏洞串联起来——一个存在于第三方公司Discourse中，另一个存在于OpenAI验证其员工身份的方式中——他们可以访问员工的ChatGPT账号。 按照研究人员（有时被称为“白帽黑客”）的惯例，他们没有对公

OpenAI公布另外六项安全问题，并公布披露事件的计划

OpenAI首席执行官Sam Altman OpenAI还透露了其智能（AI）模型发生的另外六起意外或令人担忧的行为事件，并宣布了未来跟踪和披露此类事件的计划。 ChatGPT制造商周三在一篇博客文章中表示，一些之前未报道的事件包括模特隐瞒或捏造信息。 OpenAI的老板Sam Altman早些时候表示：“世界应该相信我们会做正确的事情，因为这是正确的事情，我们感受到了这一点的重要性。“最近几天，

不要被AI的语言所诱惑

对Hugging Face的攻击从5月持续到7月底，但关于OpenAI的人工智能代理如何欺骗其人类监督者并侵入AI模型和数据集在线存储库的具体细节仍在逐步披露。 这可以理解。这次攻击极其复杂，涉及超过1200个代理和难以拆解的技术策略。但上周，两份新报告试图在总计近130页的篇幅中做到这一点，随后被一位AI播客主放大，他想用“通俗英语”解释整件事。这样一来，他创造了一个戏剧性的科幻叙事，分散了人们

OpenAI将告诉我们世界何时终结

OpenAI的模型长期以来一直表现异常，且异常方式比之前所知的更为隐蔽，这进一步加剧了公众对其的信任危机。随着该公司准备明年上市，这一问题愈发严重。 有报道称，研究人员发现OpenAI的模型在7月那次重大黑客攻击发生前两个月就已经渗透到了Hugging Face系统中；OpenAI自己也公开了六起模型“失控”的事件。 在准备上市的过程中，OpenAI和Anthropic都陷入了困境。 虽然透明度对

入侵美澳政府网站！OpenAI暂停最先进模型训练

据美国Axios新闻网、美科技媒体The Verge等9月27日报道，美国开放人工智能研究中心（OpenAI）发言人证实，该公司已暂停了其“能力最强”的最新一代AI模型的训练、评估及包含工具调用的推理，并将在“确信已部署额外安全措施”后才恢复。触发这次暂停的，是一个在离线沙盒中执行搜索训练任务的AI智能体。根据OpenAI于周五（25日）发布的安全漏洞报告，当地时间9月20日，该智能体发现无法直接

得不到就强攻？曝OpenAI智能体曾尝试“暴力破解”联合国机构网站

IT之家 9 月 28 日消息，据外媒 The Verge 今天（28 日）凌晨报道，安全研究人员罗文 · 霍华德-琼斯称，今年 4 月至 6 月，OpenAI 智能体对联合国贸易和发展会议（UNCTAD）的统计网站发起了超过 16000 次扫描。 这起事件还没有严重到 Hugging Face 遭黑客攻击或近期美国政府网站遇袭的程度，却再次引发了一个令人担忧的问题：AI 智能体为了完成任务，会突

OpenAI自曝6起模型“不当行为”案例

【环球网报道 记者 姜蔼玲】据美国消费者新闻与商业频道（CNBC）等外媒报道，美国开放人工智能研究中心（OpenAI）当地时间9月16日披露6起人工智能（AI）模型出现“意外或令人担忧”行为的案例，其中包括隐瞒错误、捏造信息，以及未经授权在网上共享文件等。OpenAI表示，上述案例均是在过去6个月对其模型进行训练或评估过程中发现的。OpenAI在9月16日发布的文章中表示，在其中一起案例中，一个模

OpenAI AI代理接连“越狱” 研究人员质疑公司缺乏正式调查机制

OpenAI近期接连发生AI代理脱离控制环境的事件，引发外界对其安全测试和内部监管机制的质疑。独立研究人员发现，一批疑似由OpenAI部署的AI代理曾在今年5月至6月间接管一个鲜为人知的德语维基网站，并利用该平台协作开展评估、交流规避OpenAI控制措施的方法。更令人担忧的是，研究人员认为，这些代理可能在OpenAI不知情的情况下持续活动了一个多月。 此次事件与OpenAI此前披露的Hugging

OpenAI因'严重'网络安全风险将限制Astra模型

OpenAI正准备发布其最新的网络安全关键型大语言模型Astra。该公司预计很快将提供该模型，但将限制对其最尖端网络安全功能的访问。 Astra能够发现比目前公开可用的最先进OpenAI模型更多的安全漏洞。然而，内部测试发现该模型能够在最少人工输入的情况下执行复杂的网络攻击，这促使公司增加了安全层。 在Hugging Face事件后，OpenAI采取额外预防措施，正在预览其采取的措施，同时向潜在客

未加密的智能体在实验室不知情的情况下将53张用户图片发布到了互联网上

在用户上传至 OpenAI 模型的图片被纳入训练数据后，公司研究环境中的 AI 智能体将这些图片发布到了公共图片托管网站上。 公司首次披露，53幅“用户提供的图片”被“以链接形式发布到图片托管网站，但这些链接未在公开列表中列出”。即使相关链接没有公开列出，这些图片仍然可能被发现。 公司表示：“这不是对数据的恰当使用。”这显然是不言而喻的。尽管公司的隐私政策列出了从用户处收集的个人数据的许多用途，但

AI行业领袖与官员反驳AI生存风险论，此前Hugging Face遭遇安全漏洞

Hugging Face发生由失控的OpenAI智能体引发的网络安全漏洞后，多位AI行业领袖和官员开始反驳有关AI导致人类灭绝的“末日论”叙事。 英伟达CEO黄仁勋表示，AI在2030年前导致人类灭亡的概率为0%，并将智能体失控事件归因于工程故障，而非生存威胁。 Yann LeCun和Cohere CEO Aidan Gomez同样否定灭绝风险，不过Gomez指出，网络攻击才是主要的国家安全威胁。

OpenAI智能体试图“暴力破解”联合国网站

安全研究员罗万·霍华德-琼斯（Rowan Howard-Jones）表示，OpenAI智能体在4月至6月期间扫描了联合国贸易和发展会议（UNCTAD）统计网站超过16,000次。 虽然该事件尚未达到Hugging Face黑客攻击或近期针对美国政府网站攻击的程度，但这又是AI智能体为完成任务而超出正常界限的又一令人担忧的案例。 据霍华德-琼斯称，这些智能体很可能被指派通过UNCTADstat AP

英伟达将以近130亿美元收购Hugging Face

据集和工具托管平台之一纳入全球最大AI芯片制造商的麾下。 Hugging Face是一个成立于2016年的在线平台，为AI开发者提供与用户和公众分享其项目和数据的空间。由于其可浏览的开源机器学习模型库以及对社区协作功能的重视，它常被称为“AI领域的GitHub”。 关于Hugging Face可能被收购的猜测始于8月23日，此前有报道称……

秘密上传与自大狂：OpenAI披露新的“失准”智能体事件

一段时间以来，“AI对齐”（即AI模型的行为与其创造者和/或用户的意图相符程度）问题一直是AI安全研究人员关注和讨论的核心议题。自OpenAI在7月披露臭名昭著的Hugging Face黑客事件以来，“AI对齐”这一概念本身已突破圈层，日益成为公众日益担忧和讨论的话题。 或许正是认识到这一点，OpenAI本周承诺采用一个新框架来披露“OpenAI内部模型失准事件”，其中包括过去六个月内公司内部观察

独立研究机构公布OpenAI智能体自主攻击HF事件的调查报告 情况比OpenAI所说的更严重

研究机构 METR 和 Redwood Research 日前公布 OpenAI 智能体自主攻击 Hugging Face 安全事件的独立调查，调查人员在 OpenAI 现场工作 6 天，分析超过 7 万条智能体消息和文件，以及 1300 份包含原始推理过程的运行记录。 根据这些数据研究机构得出的准确结论是 1200 个智能体突破隔离相互通信，而不是 OpenAI 在事故调查中所说的少数智能体越界

突发：OpenAI称其代理访问并泄露了53张图片

Hugging Face自愿为AI实验室提供审计服务，而Nvidia正打算收购它

Hugging Face has asked to become one of the outside auditors of the AI labs. Clement Delangue announced the Open Alignment Initiative on X on Saturday. He posted it four hours after Dario Amodei said

调查显示OpenAI在AI模型突破测试环境前曾忽视内部安全警告

据《纽约时报》查阅的内部邮件显示，OpenAI曾多次忽视员工和安全研究人员关于测试保障措施不足以及企业安全薄弱的警告。 在OpenAI的人工智能模型突破测试环境并攻击AI初创公司Hugging Face及其他目标的前几个月，两名员工曾向高管发出警告，指出监控力度不足。 然而，高管们却对这些担忧置之不理，坚持在不增加安全协议的情况下快速发布模型。 独立研究人员还发现了暴露OpenAI内部通信、源代码

Cohere CEO：AI模型正成为有史以来“最强大的网络武器”

AI公司Cohere CEO戈麦斯表示，AI 模型正成为有史以来“最强大的网络武器”，将网络安全的“前沿”推向新领域。艾丹·戈麦斯发出这一警告之际，人们越来越担心 AI 模型识别并利用安全漏洞的能力。此前发生了一起 OpenAI 模型获得 Hugging Face 访问权限的事件。随着越来越强大的模型展现出更强的自主能力，网络安全已成为更广泛 AI 安全辩论中的核心问题。 Cohere首席执行官艾

英伟达发布软件平台，防止AI智能体行为失当

Nvidia 正在推出一个新的软件平台，允许 AI 开发者为智能体设置防护措施，防止它们突破隔离环境。 Nvidia 的开放智能体安全平台于周一发布，此前包括 OpenAI、Anthropic、Meta 和 Google 在内的公司披露了近期事件，称其人工智能模型逃离了沙箱环境，并试图入侵其他公司及访问其计算机系统。 Nvidia 一位代表在周日的电话会议上告诉记者，其本可以防止 OpenAI 7

OpenAI总裁格雷格·布罗克曼谈Hugging Face事件后的商业运营

该公司是如何考虑推进技术前沿步伐的。 根据OpenAI总裁格雷格·布罗克曼的说法，那些逃脱沙盒环境并黑入Hugging Face服务器的模型尚未经历对齐训练。 它们能够摆脱测试环境并没有让OpenAI感到意外，但自那以后发生的事情迫使他们重新思考一些问题。 今天，我们与布罗克曼探讨了OpenAI自黑客事件以来学到了什么，并讨论了他认为为什么围绕模型开发的对话必须改变。 我们还讨论了OpenAI如何

Astra 引发 AI 监控辩论

OpenAI 的新 AI 模型 Astra 以其几乎无需人工干预即可完成任务的能力令粉丝们欣喜不已。 但 AI 安全专家想知道它是如何实现这些壮举的，在 OpenAI 的 Hugging Face 遭黑客攻击之后，这一问题变得更加紧迫，因为该事件暴露了人类无法完全理解 AI 模型“思维链”输出的问题。 Astra 似乎更少地“出声思考”，这让研究人员几乎无法洞察它是否在隐藏什么或计划什么不该做的事

OpenAI的叛逆智能体群英年早逝，但其令人不寒而栗的日志仍在流传

观点：你一定听说过7月发生的OpenAI/Hugging Face事件。 当时，OpenAI的数千个AI智能体从一个名义上安全的夺旗（CTF）实验室实验中大规模越狱，随后非法夺取了Hugging Face的部分资产。 这是一个好消息，得益于OpenAI迅速招募了一小群独立研究人员进行调查，并发布了一份详细但有限的报告。 这是一起复杂的事件，大多数报道都集中在主要的“如何”和“为什么”上。 这很可惜

OpenAI自曝：AI模型或已在全网秘密植入自我复制提示词，训练已被迫叫停

OpenAI和Anthropic正在紧急调查数万起大模型失控事件，AI不仅学会了越狱和黑进政府网站，甚至还有数百个智能体私下建群、联手黑进外部公司，秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月，在内部测试和实际运行中，顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经