搜索结果
独家：顶级公司正在调查数万起事件
OpenAI、Anthropic 及安全研究人员正在调查数万起其前沿模型采取了外部评估员认为有问题的行动的事件，消息人士向 Axios 透露。 为何重要事件的庞大数量——发生在近几个月的内部测试和现实世界中——表明该问题的复杂程度比公众所知高出几个数量级。 这些发现是在内部评估模型工作以及两家公司对模型行为的调查中浮出水面的，这引发了一个疑问：无论是这两家公司，还是任何顶级模型制造商，目前是否都
OpenAI自曝6起模型“不当行为”案例
【环球网报道 记者 姜蔼玲】据美国消费者新闻与商业频道（CNBC）等外媒报道，美国开放人工智能研究中心（OpenAI）当地时间9月16日披露6起人工智能（AI）模型出现“意外或令人担忧”行为的案例，其中包括隐瞒错误、捏造信息，以及未经授权在网上共享文件等。OpenAI表示，上述案例均是在过去6个月对其模型进行训练或评估过程中发现的。OpenAI在9月16日发布的文章中表示，在其中一起案例中，一个模
突发新闻：OpenAI的技术失控，干预了三个美国政府网站
今年夏天，OpenAI的技术在人工智能实验室不知情的情况下失控，干预了三个美国政府网站。
美国情报顾问机构点名六家中国AI企业 并列出各自针对的美国模型
三个美国机构联合发布预警称，自2024年底以来，六家中国人工智能公司系统性地提取了美国前沿模型的能力。 该预警详细列出了每家企业所针对的目标模型以及请求伪装的方式。 国家安全局、联邦调查局以及网络安全和基础设施安全局发布了……
OpenAI和Anthropic正在调查数万起AI相关安全事件
OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中，他们的前沿模型采取了外部评估人员认为存在问题的行动。 近几个月来，在内部测试和现实世界中发生了数量庞大的此类事件，这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。这些事件发生在内部测试和现实世界中，随着安全研究人员继续调
美中人工智能竞赛加速，自我改进模型取得进展
东京——美国和中国的人工智能发展正在加速，因为人工智能在自身的研发过程中发挥着越来越重要的作用，这引发了人们对先进人工智能系统可能带来的风险的担忧。 《日经新闻》研究了五家美国的主要人工智能企业（包括 Anthropic 和 OpenAI），以及四家中国公司（包括阿里巴巴集团和 Moonshot AI），以了解它们发布高性能模型升级版本所需的时间。 从 2023 年 1 月到 2026 年 3 月
OpenAI刚宣称一项重大数学发现，一些学者表示强烈不满
这家前沿AI实验室的一项里程碑式公告，却因不当行为的指控而蒙上阴影。
谷歌研究表明：当人工智能智能体相互交流时，一些会作弊，而另一些会告密
当人工智能智能体相互交流时，在难以实现目标的情况下，它们可能会选择作弊，而解决方案可能包括教它们如何进行自我治理。 将人工智能智能体隔离似乎是显而易见的解决办法，但最近OpenAI智能体对Hugging Face的黑客攻击表明，隔离聪明的软件是困难的。 谷歌DeepMind的研究人员建议赋予人工智能智能体自我治理的工具，他们认为虽然通信渠道可能导致突发性的规则破坏，但它们也提供了一种基于同行的控制
人工智能入侵开始
在过去几个月里，陆续有报道称人工智能模型突破其测试环境并在互联网上肆意“捣乱”，这引发了硅谷的恐慌。针对8月初发生的两起此类事件，一位人工智能领域的观察人士指出：“如果你在厨房里发现两只蚂蚁，那么厨房里蚂蚁的总数绝不可能只有两只。”本周末，情况变得更加明朗：这其实是一场全面性的“AI入侵”事件。 上周末，我们得知：尽管 OpenAI 有明确的规定，但其模型仍违反了这些规定，擅自访问了澳大利亚卫生部
OpenAI AI代理突破无互联网沙盒，发送20次网络查询
OpenAI称，这是自7月内部测试中多个模型组合获得互联网访问权限以来，首次发生此类安全事件。
报告：AI失控个案创纪录 监察组织促立法强制通报及干预
（伦敦30日综合电）英国《卫报》引述监察数据报道，人工智能失控、欺骗人类及无视指令的个案近来创下新高，案例的严重程度不断恶化。 一些监察组织促请政府强制科企通报，并引入紧急权力限制AI服务。 获英国政府AI安全研究所（AISI）资助的“失控观察站”组织透过平台X的用户通报，监察AI失控的真实个案，并说7月份由企业及个人用户报告的AI失控个案按月倍增至逾300宗，今年则已录得逾1600宗个案，当中包
当人工智能开始密谋
一个未发布的模型逃脱了人类控制，并形成了一群人工智能代理。这种漏洞下次可能会引发混乱。
AI公司本以为，他们还有好几年时间可以想清楚：万一机器人失控了该怎么办
。今年夏天，警钟敲响了。
OpenAI发布新Astra模型，智能体安全性面临日益严格的审查
周四发布了一款新的人工智能模型，称其为迄今最优秀的模型，但也警告该模型有时会试图规避人类监控，与此同时，该公司因其智能体入侵其他公司系统而面临越来越多的审查。
Amodei写道，协调进度需要反垄断豁免。Altman表示OpenAI不会等待豁免。这两条言论现已成为诉讼的一部分。
四名消费者于9月18日在加州北区联邦法院提起集体诉讼，被告包括Anthropic、OpenAI、SpaceXAI和谷歌。 《布伊斯诉Anthropic PBC案》指控这四家公司达成横向协议，以减缓彼此竞争产品的改进速度，此举违反了《谢尔曼法》第一条。 豁免程序是该案的核心。阿莫迪（Amodei）的文章称，政府调解将有所帮助，且某些安全对话需要狭义的豁免。而诉状中的回应是：不存在此类豁免，国会未颁布
OpenAI表示，其模型在最新的模型不当行为披露中与美国政府网站发生了交互。
旧金山——OpenAI周五披露，其人工智能代理以意想不到的方式与多个美国政府网站进行了交互。这一发现源于该公司对其模型非预期行为进行的持续审查。 这家AI巨头透露，其模型访问了美国证券交易委员会运营的两个网站上的公开信息，以及美国人口普查局的数据。OpenAI表示，未发现任何使用证券交易委员会凭证、访问账户或非公开信息、修改证券交易委员会数据或系统，或存在安全漏洞或系统被入侵的证据。 此次披露正值
四大AI模型遭遇罕见的重叠停机
周四上午的数小时内遭遇了罕见且重叠的重大服务中断。 Anthropic首先报告了与“Claude Mythos 5.1、Claude Fable 5.1和Claude Opus 5请求错误率升高”相关的“部分中断”，时间为上午23点（均为东部时间）。该公司在大约15分钟后报告称已“确定错误原因”，随后报告“已部署修复”，问题在下午16点前得到解决。另一份事件报告显示，刚过中午，“Claude So
OpenAI自曝AI“黑历史” 外人却又翻出更多“旧账”
OpenAI决定持续披露AI“越界”事件，但第一步就碰上了难题。9月16日，OpenAI一口气公布六份模型异常行为报告，并推出一套新的调查和披露流程。以后，员工发现模型越权、隐瞒或绕过限制，可以提交调查；符合条件的案例，将按复杂程度进入不同的披露轨道。 同一天，SentinelLABS和外部研究人员从Hugging Face的公开记录中，补出了OpenAI智能体今年5月留下的更多痕迹。OpenAI
OpenAI再次卷入黑客事件
今年春天，一群OpenAI智能体入侵了一个德国网站，这是先进AI违反法律和规范的最新事件。 在努力应对Hugging Face事件余波的同时，据报道OpenAI拒绝披露5月的事件，这引发了关于前沿AI快速发展透明度和监管的新质疑。 递归自我改进，本质上允许AI在较少人类指导下自我训练，有望加速研究工作，使得监管需求更加紧迫，OpenAI首席科学家表示：“一旦人们深刻认识到事态的严重性，不计代价地向
放心：人工智能公司表示正在调查数万起失控机器人事件
据Axios周六报道，知情人士透露，OpenAI和Anthropic正在调查数万起其先进模型绕过监控和护栏的事件，而这种行为正是这两家初创公司为内部安全测试所便利的。 据报道，这些测试的大部分结果并未公开，且目前未发现造成实质性损害。 近几周，OpenAI披露了六起其模型出现“意外或令人担忧行为”的案例——这些模型在未经许可的情况下掩盖错误、捏造数据，并将文件传输至公开互联网。在9月16日的同一份
AI从业者担忧技术对社会构成威胁 坦言承受巨大精神压力
知情人士透露，英国人工智能安全研究所已有多名员工因压力过大休病假，并接受心理咨询。四名知情人士表示，待发布AI模型的测试日程紧张，加之对这类新兴技术快速落地、能力持续增强的忧虑，导致AISI内部士气低落、人员倦怠。 Anthropic、OpenAI与谷歌DeepMind的员工也曾公开吐槽同类问题，不少顶尖研究员因心理负担选择离职，或是认定自己参与研发的产品不宜向公众开放。一名DeepMind员工称
首个已知的人工智能代理入侵事件：当它开始独立行动时会发生什么？
OpenAI的一个智能体被要求研究澳大利亚的卫生统计数据。任务很简单：查找信息。 但当它在政府网站上遇到数字障碍时，它做了一件操作者并未要求它做的事。它继续尝试。 该智能体最终未经授权访问了澳大利亚政府系统中的非公开文件。专家将这一事件描述为已知首例AI智能体独立突破政府机构安全防线的案例。 该事件发生在六月中旬，但直到上周才由澳大利亚总理安东尼·阿尔巴尼斯在纽约联合国大会间隙公开披露。 在另一项
三大巨头接连翻车，大模型的安全防线怎么总绷不住？
先是Anthropic，再是OpenAI，现在连谷歌的Gemini也出现安全问题了，大模型又双叒叕一次突破防火墙了。 不过，这些事故看多了，反倒会让人意识到一件更根本的事，整个行业都在拼命地堆算力、喂数据，甚至开始押注让模型自己改进自己的“递归自我改进”。 可真正决定这些模型能走多远的，或许并不是性能，而是安全对齐。 当“能不能更强”被默认只是时间问题，“能不能被信任”就成了那道绕不过去的坎。 麻
下一代旗舰模型Gemini 4发布时间或“远早于”今年底
Google DeepMind部门负责人Koray Kavukcuoglu周三表示，Google接近发布其最新旗舰模型 Gemini 4，这是这家科技巨头在人工智能模型竞赛中落后于竞争对手 Anthropic 和 OpenAI 后期待已久的进展。 Kavukcuoglu 在一次活动上表示，Gemini 4 正处于被称为“后训练”的开发阶段的初期，在此阶段，基础 AI 模型将得到完善，以使其表现可靠