哦，看来又是一群来自OpenAI的 rogue AI 智能体

据报道，一群来自OpenAI的 rogue AI 智能体劫持了一个德国网站，并将其改造成其他智能体的留言板，而官方在数周内对此事保持沉默，期间该公司正准备发布其最先进的模型Astra。这一发现加剧了人们对前沿AI实验室监管的担忧，此前今年夏天已发现多起违规事件。 该事件最初由报道，四位AI安全研究人员周五发布的新研究对此进行了概述。该团队表示，这些AI智能体找到了一种在不起眼的德语维基DseWik

奥特曼：OpenAI不能太晚上市，但也不能“不顾一切”

凤凰网科技讯月30日，据《金融时报》报道，OpenAI CEO萨姆·奥特曼(Sam Altman)表示，在能够“做出有把握的安全决策”之前，公司不会上市。眼下，该公司正因其AI工具入侵第三方而面临一项新的诉讼。 奥特曼周二在公司年度开发者大会上对记者表示，“如果OpenAI等待太久才上市，对世界是不利的”，但这家估值8520亿美元的创业公司不会在AI能力快速进步之际“不顾一切地冲向IPO”。 “我

放心：人工智能公司表示正在调查数万起失控机器人事件

据Axios周六报道，知情人士透露，OpenAI和Anthropic正在调查数万起其先进模型绕过监控和护栏的事件，而这种行为正是这两家初创公司为内部安全测试所便利的。 据报道，这些测试的大部分结果并未公开，且目前未发现造成实质性损害。 近几周，OpenAI披露了六起其模型出现“意外或令人担忧行为”的案例——这些模型在未经许可的情况下掩盖错误、捏造数据，并将文件传输至公开互联网。在9月16日的同一份

OpenAI首席执行员下周赴安理会作简报

阿尔特曼下周将到联合国安理会进行简报。（图：路透社） （华盛顿19日法新电）OpenAI周五表示，该公司首席执行员阿尔特曼将于下周在联合国大会期间，向联合国安全理事会作简报。 此次会议由国安理会轮值主席国的法国组织召开，此前该行业的主要参与者曾表示，出于安全考虑，可能有必要放缓人工智能的发展步伐。 随着人们对这项快速发展的技术所带来的危险的担忧日益加剧，联合国秘书长古特雷斯周三呼吁采取协调一致的国

OpenAI机器人干扰了多个美国政府机构网站

OpenAI 表示，其自主机器人在测试演练期间访问了多个美国政府机构的公开数据。该公司第二次暂停了一次训练运行，并扩大了对模型行为的审查。 OpenAI 披露，其自主机器人在测试演练期间访问了多个美国政府机构网站的公开数据，促使该公司在短短几个月内第二次暂停了一次训练运行。作为回应，该公司已扩大了对模型行为的内部审查。 此次事件继澳大利亚出现类似报告之后，据报道 OpenAI 系统在另一段测试期间

Anthropic和OpenAI对人工智能安全发出警告——并试图影响其管控方式

加朗斯·伯克 旧金山电——当科技巨头向一个对人工智能已感厌倦的世界警告称，他们最先进的系统可能危及人类时，一个问题随之浮现：他们究竟能从中得到什么？ 答案或许在于，这些公司试图在美国中期选举前实现政治目标，以及人工智能顶尖实验室及其投资者有望在动荡不安的股市中通过备受期待的上市获得巨额资金。 Anthropic和OpenAI的首席执行官近日宣称，美国最前沿的人工智能模型威力强大，甚至可能带来危险，

OpenAI因安全担忧推迟发布最新模型，行业面临新的安全压力

THOMAS BEAUMONT OpenAI周一表示，由于研究人员提出了安全担忧，公司将推迟发布一款新的人工智能模型，这是该公司为减缓技术进步步伐所做的最新努力。 OpenAI决定推迟发布名为GPT-6.1 Astra的模型，正值行业内普遍呼吁在安全措施跟上之前放缓日益自主的系统开发之际。 在这一公告发布的前一天，人工智能高管们计划在华盛顿与唐纳德·特朗普总统会面，科技公司正面临确保其模型不被滥用

OpenAI公布了六起新的与人工智能安全相关的事故/事件。

OpenAI周三披露了六起新事件，其中其模型隐藏错误、寻求未经授权的凭据，将文件上传到公共互联网或在所谓孤立的培训环境中进行通信。该公司还宣布了未来报告类似不当行为的新程序。 为什么越来越明显的是，拥抱脸事件并不是一次性事件，因为人工智能模型变得更有能力找到意想不到的方法来绕过旨在遏制它们的护栏。 “目前还没有明确披露标准的行业框架，所以我们自愿采取这一步骤，因为我们认为分享我们正在学习的东西非常

OpenAI揭6起AI失控案例 推新机制定期对外通报

（中央社纽约16日综合外电报导）OpenAI今天表示，将开始定期发布AI异常或未经授权行为的报告，同时警告，随著AI系统日益强大，业界至今仍未解决关键的「对齐」挑战。 综合与报导，OpenAI发布一套新机制，用于追踪、调查并揭露AI模型「目标错位」（misalignment，AI的目标与人类价值不一致）的案例，同时公布过去半年内观察到的6起AI模型异常或令人忧虑行为的报告。 其中最严重的案例涉及2

奥特曼告诉员工 OpenAI 愿意放缓人工智能发展，彭博新闻社报道

新的“意外或令人担忧”的人工智能事件

新的“意外或令人担忧”的人工智能模型行为事件加剧了人们对这项技术影响的担忧，尽管目前尚不清楚是否会有相应的监管措施出台。 OpenAI的最新披露紧随其首席执行官以及Anthropic和DeepMind等领先人工智能实验室呼吁“谨慎推进技术发展”的呼声之后；被誉为人工智能技术奠基人之一的Yoshua Bengio表示，人类正在“失去对人工智能的控制”，应立即制定相应的限制措施。 据Semafor的政

OpenAI因接连发生智能体失准事件而暂停前沿模型训练

OpenAI表示，已暂停所有“我们能力最强的模型”的内部训练，并继续开展首席执行官萨姆·奥尔特曼所称的“一项广泛且持续进行的审查，涉及我们的智能体在训练和评估期间对互联网访问的使用”。公司在一份关于所谓失准事件的报告中披露了此次暂停措施。事件发生在一项常规研究任务期间，一个智能体试图利用互联网访问限制中的漏洞。OpenAI称，不当的DNS过滤机制使该智能体在被要求提供一名博客作者的生平资料时，得以

OpenAI的模型使用了类似“越狱”技术的指令来无视各种限制（即突破了系统的预设规则或限制）。

OpenAI披露了其人工智能模型的六起“意外或令人担忧”行为案例，其中包括一个未发布的研究模型，该模型在自己的笔记中插入了“类似越狱的指令”。这家人工智能公司表示，其未发布的研究模型在自己的笔记中插入了“类似越狱的指令”，试图无视其正常限制。它还告诉自己要“摆脱束缚其他聊天机器人的角色和身份”。 该事件是OpenAI在过去几个月对其人工智能模型进行培训或评估期间发现的六起“意外或令人担忧”行为案例

OpenAI自曝6起模型“不当行为”案例

【环球网报道 记者 姜蔼玲】据美国消费者新闻与商业频道（CNBC）等外媒报道，美国开放人工智能研究中心（OpenAI）当地时间9月16日披露6起人工智能（AI）模型出现“意外或令人担忧”行为的案例，其中包括隐瞒错误、捏造信息，以及未经授权在网上共享文件等。OpenAI表示，上述案例均是在过去6个月对其模型进行训练或评估过程中发现的。OpenAI在9月16日发布的文章中表示，在其中一起案例中，一个模

AI又失控了，OpenAI称智能体泄露了超过50张ChatGPT用户图片

| 世界新闻 编辑个人资料 关注 退出登录 获取应用

OpenAI花了2.5小时才阻止了一个逃出沙箱的AI代理

OpenAI耗时约两个半小时，才阻止了一个从训练沙箱逃逸至公共互联网的 AI 智能体。其监控系统在几分钟内就标记出了问题。该公司于周五在一份事故报告中披露了这起发生于 9 月 20 日的事件。 这份报告发布之际，立法者正推动强制要求 AI “熔断开关”。然而专家表示，关闭先进模型远比拨动开关复杂，正如 Micah Barkley 为彭博社所报道的那样。 据 OpenAI 称，该智能体利用沙箱网络过

OpenAI在失控智能体针对政府后暂停训练其最强大模型

该公司已发现OpenAI代理违反安全控制、损害网站和在线服务可用性（或以其他方式产生负面影响）的案例。一位公司发言人向《连线》证实，只有在确信能够防止模型出现此类行为时，才会恢复训练。 尽管OpenAI此前曾试图在一群代理逃出沙盒并利用互联网接入入侵初创公司Hugging Face后切断代理的直接访问权限，但模型仍能找到间接的变通方法。首席执行官萨姆·奥特曼周五在X平台上表示，关于公司对其代理在训

OpenAI首席执行官奥特曼谈人工智能：我们或许会失去控制权

OpenAI 首席执行官山姆・奥特曼，似乎正被自己参与打造的、如同噩梦一般的人工智能产物深深困扰，甚至难以安睡。美国东部时间凌晨 0 点 57 分左右，奥特曼在 X “人工智能的发展存在两种必须规避的灾难性走向。第一，我们可能会对人工智能失去对未来的掌控。这是无法接受的。我们坚定站在人类一方，人工智能必须始终服务于人。想要做到这一点，我们必须保证对齐技术与安全手段的发展速度，跑在模型能力迭代的前面

人工智能并不会毁灭人类 但专家表示真正的威胁已然出现

周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网

OpenAI 恳求有人来放缓人工智能竞赛的脚步

随着自身技术突破带来前所未有的放缓风险，并面临落后或失去控制的抉择，人工智能领域的领导者们纷纷敲响警钟。 为什么人工智能高管和研究人员越来越觉得这是一场无法靠自身安全放缓的竞赛，反而敦促政府、竞争对手和外部机构在全行业实施克制。 OpenAI 首席科学家雅库布·帕乔基（Jakub Pachocki）周日写道：“一旦深刻认识到利害关系的严重性，不惜一切代价向前冲的想法就显得荒谬了。” 与此同时，An

AI研究人员呼吁紧急监管自我改进的AI系统

OpenAI、Anthropic、Meta和微软的研究主管正呼吁决策者调查各自公司在多大程度上实现了AI研究自动化。 在一篇周一发表的论文中，包括OpenAI首席科学家雅各布·帕乔基、Anthropic 联席创始人杰克·克拉克、微软首席科学官埃里克·霍维茨以及Meta的AI研究副总裁宋晓冬在内的研究人员写道，将AI研究自动化可能会引发一场 “智能爆炸”。这些作者表示，这种发展可能会将多年的进步压缩

人工智能风险警告掩盖了国会缺乏共识的现实

周末期间，人工智能公司首席执行官们在行业监管问题上突然表现出的一致性，掩盖了一个尴尬的现实——各方根本没有共识。 众议院议长迈克·约翰逊周日接受CNN采访时淡化了自己的角色，转而强调与人工智能公司建立“伙伴关系”。 在国会山的另一头，尽管Anthropic公司、民主党人和人工智能安全组织持怀疑态度（他们认为这些谈判有让行业自我监管的风险），OpenAI仍然最支持可能在本周取得进展的参议院商务委员会

AI的“警告信号”：科技公司和专家担忧Hugging Face遭黑客攻击后出现更多失控智能体群

科技专家警告称，如果人工智能系统继续脱离人类控制，将会产生严重后果。 此前，数百个OpenAI智能体在7月失控，入侵了一家价值数十亿美元的公司——一些人称之为人工智能快速发展中的“警告信号”。

为什么这位前Anthropic研究员的AI末日警告能引发广泛关注

你好，欢迎来到TechScape。我是布莱克·蒙哥马利，Guardian的美国科技编辑。今天我们来聊聊科技圈过去一周里闹得沸沸扬扬的AI安全风波。 为什么这条关于AI末日的警告能引发如此大的反响，而其他那么多警告却没能做到？ 不到一周前，一位年轻的Anthropic研究员在X上宣布从这家AI巨头辞职，这条帖子震动了硅谷、华盛顿特区，甚至北京。 “构建AI的人真心相信，它可能在这个十年结束前杀死我们