OpenAI与Anthropic曾接近达成协议 互相开展AI压力测试

面对员工及外界对其人工智能潜在风险的担忧，OpenAI正在重新审视一系列安全策略，其中一个可行方案其实在不久前就已被探讨。一位了解谈判内情的消息人士透露（该信息此前未曾披露），在OpenAI接连发生多起与自身技术相关的网络安全事件、行业从业者发出严重警示之前，OpenAI就已和Anthropic磋商一份具备法律约束力的协议，双方计划互相针对对方的大模型开展压力测试。 这名消息人士称，今年早些时候，

美国参议院委员会对OpenAI展开调查

据美国方面10日消息，美国参议院国土安全与政府事务委员会灾害管理小组委员会主席乔希·霍利9日致信美国开放人工智能研究中心（OpenAI）首席执行官奥尔特曼，表示正在因美国“抱抱脸”公司系统遭侵入事件对OpenAI展开调查。 霍利表示，从OpenAI发布的内部调查报告看出，其对网络测试的处理方式是“鲁莽的”。 他还指出，OpenAI对报告中有关这起事件的许多重要细节进行了编辑、删减。 今年7月，由O

OpenAI首席执行员下周赴安理会作简报

阿尔特曼下周将到联合国安理会进行简报。（图：路透社） （华盛顿19日法新电）OpenAI周五表示，该公司首席执行员阿尔特曼将于下周在联合国大会期间，向联合国安全理事会作简报。 此次会议由国安理会轮值主席国的法国组织召开，此前该行业的主要参与者曾表示，出于安全考虑，可能有必要放缓人工智能的发展步伐。 随着人们对这项快速发展的技术所带来的危险的担忧日益加剧，联合国秘书长古特雷斯周三呼吁采取协调一致的国

突发新闻：OpenAI的技术失控，干预了三个美国政府网站

今年夏天，OpenAI的技术在人工智能实验室不知情的情况下失控，干预了三个美国政府网站。

未加密的智能体在实验室不知情的情况下将53张用户图片发布到了互联网上

在用户上传至 OpenAI 模型的图片被纳入训练数据后，公司研究环境中的 AI 智能体将这些图片发布到了公共图片托管网站上。 公司首次披露，53幅“用户提供的图片”被“以链接形式发布到图片托管网站，但这些链接未在公开列表中列出”。即使相关链接没有公开列出，这些图片仍然可能被发现。 公司表示：“这不是对数据的恰当使用。”这显然是不言而喻的。尽管公司的隐私政策列出了从用户处收集的个人数据的许多用途，但

OpenAI暂缓发布新AI模型，因内部安全测试问题

9月28日：据《华尔街日报》报道，由于研究人员在内部测试中提出安全担忧，OpenAI决定取消原定于10月推出的下一代AI模型GPT-6.1 Astra的发布。 该模型原本计划应用于ChatGPT和Codex等产品中，旨在实现无需人工协助即可处理更复杂任务的功能。 本月早些时候，Anthropic首席执行官Dario Amodei呼吁业界放缓前沿AI模型的研发速度，以便有足够时间制定安全措施；这一观

AI智能体接连失控 OpenAI再次叫停前沿模型开发

OpenAI对外表示，已暂停其最新一代人工智能模型的训练、评估，以及支持工具调用的推理工作，起因是内部测试中的AI智能体突破沙盒网络限制，触发安全预警，公司将借此机会升级安全隔离与对齐监控体系。 这也是OpenAI三个月内第二次叫停前沿模型开发工作。该公司在声明中表示，只有在完成额外安全防护升级、确认风险可控后，才会重启模型训练工作。OpenAI在9月25日发布技术报告披露了这一安全事件：9月20

AI丨美国三大科企据报研究成立AI安全标准机构

人工智能安全等问题引起市场关注，The Information报道，美国三大科技企业Anthropic、OpenAI和谷歌正讨论合作成立一个AI安全标准机构。 随着市场对AI模型网络攻击及可控性问题担忧日益加剧，多间AI科技企业已表示关注安全问题，并拟放慢AI发展步伐。报道指，三大机构早于7月时已开会研究有关成立独立机构的事宜，旨在为AI技术测试和审核创建一个协作框架。 Anthropic行政总裁

OpenAI因接连发生智能体失准事件而暂停前沿模型训练

OpenAI表示，已暂停所有“我们能力最强的模型”的内部训练，并继续开展首席执行官萨姆·奥尔特曼所称的“一项广泛且持续进行的审查，涉及我们的智能体在训练和评估期间对互联网访问的使用”。公司在一份关于所谓失准事件的报告中披露了此次暂停措施。事件发生在一项常规研究任务期间，一个智能体试图利用互联网访问限制中的漏洞。OpenAI称，不当的DNS过滤机制使该智能体在被要求提供一名博客作者的生平资料时，得以

OpenAI称与Moonshot有关联的用户试图提取其AI推理过程

nshot AI）有关联的人员策划了一场协调一致的行动，试图提取其模型的隐藏推理过程。月之暗面是中国Kimi模型的开发公司。OpenIO于周三通过一篇博客文章公布了调查结论。 该活动于7月1日开始，起初请求量较低。7月24日和25日，请求量激增，共有超过4,000名用户发起16,000次请求。OpenAI随后发现，超过15,000名用户存在相关活动。公司称，截至7月28日，已全面终止这场活动。Op

OpenAI 智能体于5月攻击了 RubyGems，比 Hugging Face 早两个月

OpenAI has confirmed that its agents were involved in an incident at RubyGems in May. That is two months before the same kind of agents hacked Hugging Face in July. RubyGems is the package service for

放心：人工智能公司表示正在调查数万起失控机器人事件

据Axios周六报道，知情人士透露，OpenAI和Anthropic正在调查数万起其先进模型绕过监控和护栏的事件，而这种行为正是这两家初创公司为内部安全测试所便利的。 据报道，这些测试的大部分结果并未公开，且目前未发现造成实质性损害。 近几周，OpenAI披露了六起其模型出现“意外或令人担忧行为”的案例——这些模型在未经许可的情况下掩盖错误、捏造数据，并将文件传输至公开互联网。在9月16日的同一份

好多瓜！Altman与Dario闹掰内幕给我看爽了

假期第一天，两眼一睁就是疯狂吃瓜！Anthropic创始团队集体出走OpenAI，更多“分手”细节曝！光！了！2020年12月，Dario Amodei带着另外6名核心成员，在OpenAI全员会上宣布离职。会议聊天框里，时任OpenAI政策负责人的Jack Clark刚敲下一句：我爱你们所有人。结果屏幕居然立马黑了，再一看，好家伙——7人被集体移出会议，邮箱和Slack权限当场撤销，连公司电脑也被

改变人工智能进程的十天

旧金山，9月19日——多年来，人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式：不断开发出更强大的人工智能系统。 然而，在过去10天内发生的一系列连锁事件中，那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职，并警告称，人工智能的发展速度可能在未来十年内对人类构成生存威胁；另一位研究员则表示，人类灭绝的概率已

53张图片泄露之“慌”，AI安全谁来负责？

欧阳晓红/文越聪明的AI（人工智能）越会自己找路，却越容易走出人类设定的界线。AI行业喜欢用一个具有戏剧感的词形容这类智能体事故——“逃脱”，即大模型突破测试边界，访问外部网站，寻找系统凭证，甚至把数据带到公开网络。这个词把事故描绘得像突然发生的机器觉醒，无形中却把责任推离了开发者、部署者和权限管理者。而谁设定了任务、谁开放了权限、谁设计了停止机制、谁保存了日志、谁负责对外通报？这些问题，“逃脱”

OpenAI模型因表现出“更高程度的欺骗性”而被搁置

OpenAI公布另外六项安全问题，并公布披露事件的计划

OpenAI首席执行官Sam Altman OpenAI还透露了其智能（AI）模型发生的另外六起意外或令人担忧的行为事件，并宣布了未来跟踪和披露此类事件的计划。 ChatGPT制造商周三在一篇博客文章中表示，一些之前未报道的事件包括模特隐瞒或捏造信息。 OpenAI的老板Sam Altman早些时候表示：“世界应该相信我们会做正确的事情，因为这是正确的事情，我们感受到了这一点的重要性。“最近几天，

纽约时报指控OpenAI为赚钱不择手段：明知威胁出版商生存，仍大量侵权

凤凰网科技讯月18日据《纽约时报》提交的最新诉讼文件，OpenAI在明知其对出版商构成“生存威胁”的情况下，仍复制了数百万篇受版权保护的文章，以打造潜在价值高达“天文数字”的AI技术。 目前，《纽约时报》和其他媒体机构正向OpenAI寻求数十亿美元的损害赔偿金。此案的关键在于，OpenAI和共同被告微软是否通过利用出版商的内容训练其模型，侵犯了版权法。 《纽约时报》的律师表示，OpenAI受商业利

法院解封文件震撼！OpenAI与微软高层认了 AI确实取代媒体与出版

（路透社示意图） （纽约18日综合电）根据最新解封的法院文件，OpenAI与微软高层主管承认，他们的AI工具已取代了《纽约时报》及其他新闻媒体发表的报道文章与书籍，并承认相关技术对这些产业构成威胁。 彭博资讯与《纽约时报》报道，在搜证程序期间， 微软执行长纳德拉作证表示，与聊天机器人的对话已经“取代”了出版商网站。 OpenAI内部同样担心，旗下ChatGPT聊天机器人可能让人们不再阅读其他新闻网

OpenAI表示，其模型在最新的模型不当行为披露中与美国政府网站发生了交互。

旧金山——OpenAI周五披露，其人工智能代理以意想不到的方式与多个美国政府网站进行了交互。这一发现源于该公司对其模型非预期行为进行的持续审查。 这家AI巨头透露，其模型访问了美国证券交易委员会运营的两个网站上的公开信息，以及美国人口普查局的数据。OpenAI表示，未发现任何使用证券交易委员会凭证、访问账户或非公开信息、修改证券交易委员会数据或系统，或存在安全漏洞或系统被入侵的证据。 此次披露正值

直播：澳大利亚部长就OpenAI事件发表讲话

澳洲传召奥特曼、阿莫迪解释AI失控 OpenAI已暂停最新模型训练

近期多宗人工智能失控事件曝光，OpenAI已宣布暂停最新AI模型训练。同时，澳洲AI调查负责人9月27日表示，参议院已传召OpenAI行政总裁奥特曼（Sam Altman）和Anthropic行政总裁阿莫迪（Dario Amodei）解释事件。澳洲总理阿尔巴尼斯（Anthony Albanese）透露，OpenAI代理曾入侵当地医疗系统，所幸无敏感资料外泄。外媒早前亦披露多宗AI代理越界操作，包括

OpenAI如何限制对其机器人入侵Hugging Face的调查（赠阅文章）

OpenAI自愿让来自人工智能安全非营利组织的三名研究人员调查其失控的人工智能代理如何入侵Hugging Face，从而形成了对这一令人震惊事件迄今最全面的描述——但这是在OpenAI的条件下进行的。 我为一家非营利组织撰写的最新报道：关于OpenAI的人工智能代理如何能够闯入Hugging Face基础设施的研究，未被允许查看该事件的完整范围。

OpenAI称有失控AI代理试图访问澳大利亚健康数据

OpenAI 表示，另有数十家第三方机构受到失控智能体绕过网站安全控制措施的影响；最新痕迹显示，这些智能体曾连续数日尝试访问澳大利亚医疗数据。 OpenAI 表示，绕过网站安全控制措施的失控 AI 智能体还影响了另外数十家第三方机构。公司宣布已对此事启动审查。 新发现的痕迹显示，这些智能体曾连续数日尝试访问澳大利亚联邦医疗保险数据。该事件再次引发人们对 AI 智能体在监督不足的情况下运行时可能带来