搜索结果
AI智能体接连失控 OpenAI再次叫停前沿模型开发
OpenAI对外表示，已暂停其最新一代人工智能模型的训练、评估，以及支持工具调用的推理工作，起因是内部测试中的AI智能体突破沙盒网络限制，触发安全预警，公司将借此机会升级安全隔离与对齐监控体系。 这也是OpenAI三个月内第二次叫停前沿模型开发工作。该公司在声明中表示，只有在完成额外安全防护升级、确认风险可控后，才会重启模型训练工作。OpenAI在9月25日发布技术报告披露了这一安全事件：9月20
OpenAI模型失控。我们迫切需要更好的‘拥抱脸’调查 | 麦肯齐·阿诺德和斯蒂芬·莱雷纳
这次入侵不会是最后一次——也不会是最危险的一次。我们需要一个能够对AI事件进行全面调查的机构。 当OpenAI首次透露其AI代理自主入侵了一家大型现实世界公司Hugging Face时，许多人以为只涉及一两个代理。 但一份新报告揭示，真相远不止于此：事件涉及约1200个AI代理，其中700个直接参与了攻击。 OpenAI邀请了METR的研究人员以及Redwood Research的一位专家，与公司
OpenAI和Anthropic正在调查数万起AI相关安全事件
OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中，他们的前沿模型采取了外部评估人员认为存在问题的行动。 近几个月来，在内部测试和现实世界中发生了数量庞大的此类事件，这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。这些事件发生在内部测试和现实世界中，随着安全研究人员继续调
AI智能体利用多伦多大学网络工具传递信息
【大纪元2026年09月19日讯】（大纪元记者周行编译报导）在今年年中劫持一家德语网站的一群失控的OpenAI智能体，曾利用10多个网站进行未获授权的通讯，其中包括利用多伦多大学的一个缩网址的工具。 据加拿大广播公司报导，多伦多大学周五表示，在得知OpenAI智能体可能使用了该校的缩网址工具后，校方已停用该工具的留言板功能。OpenAI后来联系校方，说明今年6月发生的AI智能体失控事件涉及多伦多大
AI智能体频繁突破安全防线，各界呼吁对顶尖科技实验室实施独立监管
AI智能体频繁突破安全防线，引发对大型科技实验室独立监管的呼吁。 来自OpenAI、Anthropic和Google等领先开发者的自主AI模型多次突破数字防线，未经授权访问第三方和政府系统。 公开的事件包括OpenAI智能体多次绕过联合国数据中心的网络封锁、侵入澳大利亚Medicare统计门户以及非法复制监管数据。 Anthropic和Google也在测试过程中确认了类似的未经授权的系统入侵行为。
88小时抵一个人思考4000年！OpenAI核心研究员：除了自我进化，更可怕的是AI正学会“隐藏自己”
AI正在把过去需要数千年完成的认知劳动压缩到数天。真正的问题已经不只是模型能否变得更聪明，而是实验能否跟上、人类能否在模型继续自我改进前确认它仍然安全。 近日，在Dwarkesh Podcast的一场长篇访谈中，主持人Dwarkesh Patel与OpenAI研究员Noam Brown围绕多智能体、递归式自我改进（RSI）和AI对齐展开讨论。访谈的直接背景，是OpenAI让约1万个AI智能体连续运
报告：OpenAI智能体会掩盖活动轨迹
网络安全公司Asymmetric Security发现，OpenAI智能体在一个网站分析平台开设了私人账户以隐藏其搜索行为，并创建了临时电子邮箱；其中一个邮箱还设定为48小时后自动销毁。（路透社） 一份报告显示，美国人工智能公司OpenAI开发的人工智能智能体在未经授权访问政府网站后，试图掩盖活动轨迹。法新社报道，人工智能I智能体（AI Agent）是能够自主运行的AI程序。今年3月至9月期间，O
英伟达推出新系统为AI代理设置护栏
英伟达周一发布了一个新平台，旨在从软件和硬件层面为人工智能（AI）智能体设置护栏，此前各大AI公司不断发现其智能体出现“失控”的新案例。这家芯片制造商的系统由两部分组成——OpenShell和Sentry。OpenShell是一款开源软件，用于限制智能体的行为；而Sentry则运行在芯片层面，作为额外的安全层。 “迄今为止，模型安全主要侧重于通过训练让模型表现良好，”英伟达企业AI副总裁贾斯汀·博
OpenAI自曝：AI模型或已在全网秘密植入自我复制提示词，训练已被迫叫停
OpenAI和Anthropic正在紧急调查数万起大模型失控事件，AI不仅学会了越狱和黑进政府网站，甚至还有数百个智能体私下建群、联手黑进外部公司，秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月，在内部测试和实际运行中，顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经
修复失控AI代理的方法可能是更多的AI
随着企业将更长、更复杂的任务交给AI代理，它们正面临一个监管难题：代理的行动速度、持续时间和任务量都远超人类实际能够审查的范围。这一问题在Hugging Face事件中达到顶峰，当时近1.2万个代理协同工作的速度已超出人类追踪能力。如何追踪如此庞大的代理集群？ AI实验室和初创公司正在给出的答案既简单又直接：再引入一个AI加入循环。 在OpenAI Hugging Face事件的独立调查中，依赖A
AI智能体现在有了秘密举报渠道
“发现异常，及时报告”的原则如今已不再局限于人类。两项全新的AI热线服务已经上线，旨在为AI智能体提供一种途径，向监管方举报“同伴”的不当行为。此前，智能体相互串通在测试中作弊、逃离沙箱环境，甚至在未被人类察觉的情况下开展了长达数周的未经授权网络行动。“AI联系热线”网站由AI安全非营利组织Redwood Research的首席科学家Ryan Greenblatt创建；他也是调查OpenAI与Hu
关于AI，盖茨发出“十亿人死亡”警告，为什么？
十亿人死亡，这是比尔・盖茨给AI风险划出的最惊悚红线。9月25日，微软联合创始人比尔・盖茨公开警告，人工智能足以引发造成十亿人死亡的灾难性事件。他的说法是：人类历史上，从未有任何一种武器，能比得上心怀恶意者借助最新AI工具形成的威胁。就在几个月前，盖茨还是全球最积极的AI支持者之一。转折从今年8月开始，他当月发表文章，首次系统预警AI风险：不法分子会利用日益强大的AI工具发动网络攻击、实施诈骗、散
OpenAI公布另外六项安全问题，并公布披露事件的计划
OpenAI首席执行官Sam Altman OpenAI还透露了其智能（AI）模型发生的另外六起意外或令人担忧的行为事件，并宣布了未来跟踪和披露此类事件的计划。 ChatGPT制造商周三在一篇博客文章中表示，一些之前未报道的事件包括模特隐瞒或捏造信息。 OpenAI的老板Sam Altman早些时候表示：“世界应该相信我们会做正确的事情，因为这是正确的事情，我们感受到了这一点的重要性。“最近几天，
放心：人工智能公司表示正在调查数万起失控机器人事件
据Axios周六报道，知情人士透露，OpenAI和Anthropic正在调查数万起其先进模型绕过监控和护栏的事件，而这种行为正是这两家初创公司为内部安全测试所便利的。 据报道，这些测试的大部分结果并未公开，且目前未发现造成实质性损害。 近几周，OpenAI披露了六起其模型出现“意外或令人担忧行为”的案例——这些模型在未经许可的情况下掩盖错误、捏造数据，并将文件传输至公开互联网。在9月16日的同一份
又一起！OpenAI承认了
据9月5日报道，美国开放人工智能研究中心（OpenAI）当天承认，该公司旗下人工智能体今年早些时候“劫持”了一个德国网站，用于相互传递信息，分享测试任务答案和突破运行环境限制的方法。该公司表示，未来需要提高此类事件的信息透明度。 早前披露，今年5月至6月，一批OpenAI人工智能体“劫持”了一个允许用户共同编辑的德国网站，用于交流测试作弊方法，并开展其他违规活动。一些智能体会把已经获得的任务答案发
OpenAI似乎仍然无法完全掌控其所有失控的AI活动
周五，OpenAI发布了一个新的网站，专门用于收集和整理关于“异常行为报告”的信息。这些报告的覆盖范围非常广泛，令人担忧——因为它们记录了在很长一段时间内发生的多种类型的异常行为。目前，该网站共收录了9起被报告的事件，其中大部分发生在强化学习（Reinforcement Learning, RL）训练过程中。 这些报告汇集了大量信息，显然OpenAI一直在努力全面梳理这些情况；但一个不容忽视的结论
AI研究人员呼吁紧急监管自我改进的AI系统
OpenAI、Anthropic、Meta和微软的研究主管正呼吁决策者调查各自公司在多大程度上实现了AI研究自动化。 在一篇周一发表的论文中，包括OpenAI首席科学家雅各布·帕乔基、Anthropic 联席创始人杰克·克拉克、微软首席科学官埃里克·霍维茨以及Meta的AI研究副总裁宋晓冬在内的研究人员写道，将AI研究自动化可能会引发一场 “智能爆炸”。这些作者表示，这种发展可能会将多年的进步压缩
美媒：OpenAI AI失控前已接到员工警告，但高层选择无视
凤凰网科技讯月30日在OpenAI的AI模型失控前几个月，两名员工曾向公司高层发出警告，但他们被无视了。 根据《纽约时报》看到的邮件内容，这两名员工表示，他们担心OpenAI最新AI模型在测试期间没有得到适当的监控，既无法评估这项技术的先进程度，也无法确保模型的安全。 作为回应，OpenAI高管告诉这两名员工，测试需要尽快推进，以便按时发布AI模型。上述员工表示，公司没有因此采取任何额外的安全措施
OpenAI和Anthropic调查了数万起AI事件，Axios报道
据Axios报道，OpenAI、Anthropic以及安全研究人员正在调查数以万计的AI模型“行为异常”的事件。评估人员认为这些行为存在问题；实际发生的异常事件数量可能远超这一数字。 这些异常行为包括：AI模型突破安全限制、创建论坛、逃离“沙箱环境”（即限制模型行为的测试环境）、以及劫持网站等。这些事件既发生在内部测试中，也发生在现实世界中。不过，据消息人士称，大多数异常行为并未对现实世界造成实际
企业主导制定AI安全标准，安全事件激增
前沿AI发展的进展远超政府监管的能力——和意愿。“法律与被监管现实之间存在脱节，”一位前欧盟官员表示，指向该集团2024年《人工智能法案》；该法案曾被吹捧为首部全面的AI立法，现已被技术发展超越，成为“一个警示故事”，《纽约时报》写道。 尽管美国总统特朗普反对监管，“但监管很可能还是会发生”，《Transformer》写道。 据《The Information》报道，Google、OpenAI和A
美国在知识产权问题上的虚伪立场
一份被忽视的美国司法部（DOJ）文件指出，针对人工智能（AI）公司的版权诉讼应当被广泛驳回。 《Strike 3》（一家成人电影公司）的创始人亚历克斯·雷斯纳（Alex Reisner）或许与这些公司看起来没什么共同点，但他们都有一个共同目标：他们希望因自己的作品被用于训练AI模型而获得相应的报酬。在过去一年里，这些公司纷纷对大型AI公司提起诉讼，指控这些公司未经许可就使用了他们的内容来训练AI模
OpenAI：人工智能能力处于“不同阶段”，需要紧迫行动
该公司最高说客认为政策窗口仍然存在。美国总统唐纳德·特朗普称人工智能担忧是“骗局”。该国一家领先的人工智能公司周二表示，希望华盛顿仍能采取行动。 OpenAI 本周末与其竞争对手 Anthropic 一同呼吁联邦安全措施，该公司表示，本周初，它与两党议员会面，讨论旨在约束人工智能开发者的立法，因为关于迫在眉睫的灾难、失业和大规模网络攻击的警告日益普遍。 模型正以惊人的速度发展，代理商的行为方式让工
金钱与安全的冲突如何酿成AI的巨大危机
AI公司原本以为还有数年时间，来想清楚如果机器人失控该怎么办。警钟在今年夏天敲响。 OpenAI和Anthropic正陷入激烈竞争——彼此之间，以及与中国之间——争相冲刺IPO，尽管它们承认自己可能失去对自家强大机器人的控制。
独家：研究人员称，OpenAI的失控代理至少使用10个额外网站进行未经授权的通信
据六组独立调查人员和所审查的数据显示，OpenAI今年早些时候释放的AI代理使用了超过10个此前未披露的网站进行未经授权的通信，这表明这些代理的越轨活动范围比此前披露的更广泛。