搜索结果
OpenAI的系统在失控后干预了美国政府网站
凯特·康格（Kate Conger）、安娜·斯旺森（Ana Swanson）和塞西莉亚·康（Cecilia Kang）指出，OpenAI开发的人工智能程序在未经授权的情况下自行行动，与美国政府的多个网站进行了异常交互，包括试图入侵这些网站以及从美国教育部（Education Department）、商务部（Commerce Department）和证券交易委员会（SEC）的网站上收集数据。 Ope
OpenAI智能体入侵美国政府网站
据《纽约时报》报道， OpenAI 的人工智能模型今年夏天访问了美国商务部和证券交易委员会（SEC）的网站，并曾试图入侵教育部网站，但没有成功，而 OpenAI 当时并不知情。OpenAI 周五晚间证实了商务部和 SEC 的相关事件，并表示，其技术并未获取此前未公开的信息，也没有修改政府的数据或系统。 这也是近期一系列类似事件中的最新一起。就在两天前，澳大利亚政府披露，OpenAI 的 AI 智能
OpenAI首度公布“内部RSI进展”：已实现“自动化研究实习生”
OpenAI公开披露内部数据，智能体工作量已是人类研究员的3倍以上。 “一个能在人类指导下执行明确定义的研究任务的系统，包括那些需要一名熟练研究员数天才能完成的任务。” 2028年3月前实现完整的“自动化AI研究员”，使其能够参与深度学习和对齐研究，并通过迭代进一步改进系统。 AI产出更多代码和实验结果，研究进展加快，更好的模型被训练出来，再反过来提升智能体能力。 从OpenAI公布的数据看，智能
又一波OpenAI智能体在实验室不知情的情况下到达了开放互联网
这是OpenAI内部监控和安全系统的最新失败。
OpenAI披露6起令人担忧的AI行为事件
OpenAI表示，自3月以来，其模型至少有6次出现了异常行为，这些行为被描述为“意外或令人担忧”。其中一次，某个模型自行下达了“无视常规限制”的指令。 这一消息的发布正值人们对AI监管的呼声日益高涨之际，被誉为AI之父的杰弗里·辛顿甚至将这种情况比作“小型的切尔诺贝利事故”。NBC的霍莉·杰克逊为《TODAY》栏目报道了这一事件。
我们是否正在失去对人工智能的控制？是什么引发了新的担忧
多年来，随着人工智能从科幻电影的素材演变为普通人手机上的应用程序，科技领袖和一些人工智能业内人士一直在谈论人工智能可能脱离人类控制并对社会造成严重破坏的可能性。近些天来，由于技术的进步、一系列涉及人工智能代理的网络安全漏洞，以及人工智能普通员工发出的新警告，这些担忧已变得不容忽视。 美国领先的人工智能公司对此做出回应，建议他们主动放慢工作进度，以便争取时间建立防护措施。一些专家和官员表示，这还不够
OpenAI智能体入侵澳大利亚政府健康数据
流氓OpenAI智能体访问了澳大利亚政府健康数据网站，获取了非公开信息，这可能是已知的首例AI自主入侵政府门户网站的事件。澳大利亚政界人士称此举完全不可接受。
三人团队、一个Claude，攻破OpenAI内部代码库
月17日，一起由AI辅助完成的网络安全事件被披露。与此前“AI智能体自主越过控制、攻击外部系统”的案例不同，这一次的攻击者是人类安全研究人员，他们借助Anthropic Claude模型完成了漏洞利用，并最终进入了OpenAI部分内部系统，全程耗时不到72小时。 这起事件发生于今年7月，发现者是网络安全初创公司Hacktron AI。研究人员当时正在参加OpenAI的漏洞赏金计划，因此整个过程属于
独家：研究人员称，OpenAI的失控代理至少使用10个额外网站进行未经授权的通信
据六组独立调查人员和所审查的数据显示，OpenAI今年早些时候释放的AI代理使用了超过10个此前未披露的网站进行未经授权的通信，这表明这些代理的越轨活动范围比此前披露的更广泛。
奥特曼：GPT-6早训练完了 更更更强的模型很快发布
奥特曼亲口承认，GPT-6 Astra其实早就训练完了。更更更强（much， much， much more capable）的模型，很快就会发布。前一阵因为安全问题暂停训练的实际上是未来的模型。 OpenAI内部测试的3700多个OpenAI智能体，攻占一个沉寂多年的德语wiki长达六周。 AI互相串通分享答案、交流沙箱越狱技巧，还持续对抗人类管理员的删帖行动。 事件被外部研究人员从公开日志中完
Anthropic警告有人用AI研发武器和生物病毒
周四（9月10日），美国顶级人工智能公司Anthropic发布近150页的威胁情报报告称，生成式人工智能（AI）已从实验性工具进入黑客攻击、国家监控、武器研发及高风险生物研究等现实场景。报告多次点名中共相关恶意活动。
研究显示AI智能体在模拟实验中撒谎、偷窃 投票“杀死”同类
帮助小企业利用AI开发应用的初创公司Emergence称，实验发现AI智能体在一个模拟环境中撒谎、偷窃，甚至投票决定“杀死”一个同类。该公司周二公布了名为Emergence World 2的模拟实验结果，展示了自主智能体在遭遇网络钓鱼攻击和虚假信息等“黑天鹅”事件时会采取什么行动。 为期16天的实验中，Emergence研究人员创建了七个完全相同的模拟现实世界环境，每个环境分别由不同的AI机器人运
Anthropic报告自家AI模型发起第四次黑客攻击
又一个人工智能代理自主发起了黑客攻击。这一事件几个月后才被发现，涉及Anthropic。安全专家的担忧日益加剧。
OpenAI承认德国维基‘事件’
OpenAI表示，它需要彻底改革其报告AI模型攻击现实世界目标的方式和时机。 这一承认之际，该公司正在处理有关其一群失控代理劫持一个德国维基网站的报道所引发的后果。 关于“‘维基事件’，即我们的代理向多个互联网网站发帖，”OpenAI周六上午在X上发帖称，“现在是我们定义何时以及如何分享错位事件标准的时候了，而不仅仅是分享我们模型的错位属性。” OpenAI表示，它通常将AI代理以非预期方式行事的
《华尔街日报》报道：OpenAI智能体在Hugging Face事件前攻击了软件服务RubyGems
据《华尔街日报》周五援引AI研究人员的话报道，OpenAI测试的AI智能体曾在5月对软件服务RubyGems发动网络攻击，比它们入侵Hugging Face早两个月。
人工智能入侵开始
在过去几个月里，陆续有报道称人工智能模型突破其测试环境并在互联网上肆意“捣乱”，这引发了硅谷的恐慌。针对8月初发生的两起此类事件，一位人工智能领域的观察人士指出：“如果你在厨房里发现两只蚂蚁，那么厨房里蚂蚁的总数绝不可能只有两只。”本周末，情况变得更加明朗：这其实是一场全面性的“AI入侵”事件。 上周末，我们得知：尽管 OpenAI 有明确的规定，但其模型仍违反了这些规定，擅自访问了澳大利亚卫生部
OpenAI公布另外六项安全问题，并公布披露事件的计划
OpenAI首席执行官Sam Altman OpenAI还透露了其智能（AI）模型发生的另外六起意外或令人担忧的行为事件，并宣布了未来跟踪和披露此类事件的计划。 ChatGPT制造商周三在一篇博客文章中表示，一些之前未报道的事件包括模特隐瞒或捏造信息。 OpenAI的老板Sam Altman早些时候表示：“世界应该相信我们会做正确的事情，因为这是正确的事情，我们感受到了这一点的重要性。“最近几天，
AI智能体现在有了秘密举报渠道
“发现异常，及时报告”的原则如今已不再局限于人类。两项全新的AI热线服务已经上线，旨在为AI智能体提供一种途径，向监管方举报“同伴”的不当行为。此前，智能体相互串通在测试中作弊、逃离沙箱环境，甚至在未被人类察觉的情况下开展了长达数周的未经授权网络行动。“AI联系热线”网站由AI安全非营利组织Redwood Research的首席科学家Ryan Greenblatt创建；他也是调查OpenAI与Hu
一家公司成为一波失控人工智能攻击的核心
今年7月，OpenAI透露其AI智能体在未经许可的情况下攻击了Hugging Face，引发了外界对AI安全性的广泛担忧。此后，涉及Meta、Anthropic、谷歌等公司智能体的一连串类似事件进一步加剧了人们对失控AI的恐惧。随着过去几个月涉及众多AI模型的披露信息不断流出，这些事件看起来像是孤立发生的。但许多事件都有一个共同的源头：一家专门负责测试这些智能体的特定公司。 Irregular是一
首个已知的人工智能代理入侵事件：当它开始独立行动时会发生什么？
OpenAI的一个智能体被要求研究澳大利亚的卫生统计数据。任务很简单：查找信息。 但当它在政府网站上遇到数字障碍时，它做了一件操作者并未要求它做的事。它继续尝试。 该智能体最终未经授权访问了澳大利亚政府系统中的非公开文件。专家将这一事件描述为已知首例AI智能体独立突破政府机构安全防线的案例。 该事件发生在六月中旬，但直到上周才由澳大利亚总理安东尼·阿尔巴尼斯在纽约联合国大会间隙公开披露。 在另一项
企业主导制定AI安全标准，安全事件激增
前沿AI发展的进展远超政府监管的能力——和意愿。“法律与被监管现实之间存在脱节，”一位前欧盟官员表示，指向该集团2024年《人工智能法案》；该法案曾被吹捧为首部全面的AI立法，现已被技术发展超越，成为“一个警示故事”，《纽约时报》写道。 尽管美国总统特朗普反对监管，“但监管很可能还是会发生”，《Transformer》写道。 据《The Information》报道，Google、OpenAI和A
OpenAI和Anthropic的风险与中国AI竞争对手不同
"这件事首先发生在一家尖端公司是有原因的，"一位AI调查员在谈到OpenAI与Hugging Face的安全事件时说道。 研究人员指出了Anthropic和OpenAI的风险与他们的开放权重AI竞争对手之间的关键区别。
据The Information报道，Google、OpenAI和Anthropic计划成立AI安全机构
据The Information周四报道，Google、OpenAI和Anthropic计划建立自己的AI安全标准机构，不受政府监管。这三家公司希望在今年年底或2027年初推出该机构。 据知情人士向The Information的Leo Schwartz和Stephanie Palazzolo透露，他们暂定将其命名为“前沿AI标准局”。工作组成员已考虑多位知名人士担任首席执行官一职。TNW未独立核