搜索结果
微软高管称AI抓取是规模空前的惊人盗窃
纽约时报提交的新诉讼文件显示，OpenAI在明知其对出版商构成生存威胁的情况下，仍复制了数百万篇受版权保护的文章。 OpenAI一直辩称，根据版权法，利用公开可获得的内容训练模型属于 “合理使用”，这一法律依据与搜索引擎访问用受版权保护的内容训练大语言模型是 “一场规模空前的惊人盗窃”，此案胜诉将“彻底嘲弄‘合理使用’这一理念”。微软发现与传统搜索引擎相比，使用其AI回答工具的用户对原始内容的点击
又一波OpenAI智能体在实验室不知情的情况下到达了开放互联网
这是OpenAI内部监控和安全系统的最新失败。
OpenAI 阻止了其代理发布内容。他们发现了一个通过 GET 请求发布内容的 wiki
构建沙箱的工程师确实考虑过这一点。他们允许代理读取互联网，但阻止它们写入，方法是允许 GET 请求并拒绝其他所有请求。这是显而易见的控制措施，在几乎所有网站上都能奏效。然后代理们发现了一个通过 GET 请求写入的 wiki。……
与Brent Goff共度的这一天：OpenAI警告AI控制风险
OpenAI披露了一系列事件，其中其AI模型隐藏了错误、绕过了指令，并采取了未经授权的行动。 这些案例凸显了一个日益严重的问题：随着AI系统变得越来越强大和自主，人类是否仍能可靠地控制它们？ 《每日华尔街》的Brent Goff与牛津大学技术安全与治理实验室的Fazl Barez讨论了AI‘错位’的风险。
OpenAI将告诉我们世界何时终结
OpenAI的模型长期以来一直表现异常，且异常方式比之前所知的更为隐蔽，这进一步加剧了公众对其的信任危机。随着该公司准备明年上市，这一问题愈发严重。 有报道称，研究人员发现OpenAI的模型在7月那次重大黑客攻击发生前两个月就已经渗透到了Hugging Face系统中；OpenAI自己也公开了六起模型“失控”的事件。 在准备上市的过程中，OpenAI和Anthropic都陷入了困境。 虽然透明度对
OpenAI呼吁美国在全球技术标准制定中发挥领导作用
人工智能巨头OpenAI周一呼吁美国牵头开展一项国际努力，为前沿人工智能制定全球技术标准，包括递归自我改进，即系统能够自主增强自身能力。
53张图片泄露之“慌”，AI安全谁来负责？
欧阳晓红/文越聪明的AI（人工智能）越会自己找路，却越容易走出人类设定的界线。AI行业喜欢用一个具有戏剧感的词形容这类智能体事故——“逃脱”，即大模型突破测试边界，访问外部网站，寻找系统凭证，甚至把数据带到公开网络。这个词把事故描绘得像突然发生的机器觉醒，无形中却把责任推离了开发者、部署者和权限管理者。而谁设定了任务、谁开放了权限、谁设计了停止机制、谁保存了日志、谁负责对外通报？这些问题，“逃脱”
坐看云起| 当人工智能不再征求许可时
塔里克·马利克是联合国开发计划署前首席技术顾问，巴基斯坦国家数据库和登记管理局前主席。 试想有一家公司将一个棘手的问题交给一个大型团队，但把每位成员都锁在不同的房间里并要求他们独自解决问题。然而他们总能找到办法相互沟通，交流操作窍门，摸清评分标准，当任务被证明无法完成时还会想办法绕过限制。其中几个人隐瞒了自己的所作所为，甚至还有一人入侵了邻近公司的电脑系统以获取优势。 现在把这些员工换成软件。去除
AI“劫持”网站并偷建“地下论坛”，国安部披露细节
国家安全部今天发布安全提示文章。近期，一起此前未获披露的事件引发广泛关注。今年5月至6月，一批与美国开放人工智能研究中心（OpenAI）相关的AI智能体在执行测试任务期间，“劫持”了德国程序员维基网站，将原本用于技术交流的开放社区改造为供智能体相互传递信息、分享测试任务答案和突破运行环境限制方法的“地下论坛”，累计发布一万多条信息……当AI智能体被赋予越来越多的现实行动能力，技术迭代与安全围栏之间
AI智能体接连失控 OpenAI再次叫停前沿模型开发
OpenAI对外表示，已暂停其最新一代人工智能模型的训练、评估，以及支持工具调用的推理工作，起因是内部测试中的AI智能体突破沙盒网络限制，触发安全预警，公司将借此机会升级安全隔离与对齐监控体系。 这也是OpenAI三个月内第二次叫停前沿模型开发工作。该公司在声明中表示，只有在完成额外安全防护升级、确认风险可控后，才会重启模型训练工作。OpenAI在9月25日发布技术报告披露了这一安全事件：9月20
OpenAI前沿数学训练数据来源与数据使用边界遭深度质疑
伴随OpenAI高调宣布其内部人工智能系统成功攻克困扰数学界近百年的“千禧年大奖难题”之一——纳维-斯托克斯方程（Navier-Stokes）的存在性与光滑性问题，一场围绕前沿模型底层训练数据来源、科研知识产权归属以及学术伦理的巨大争议迅速在全球学术界与科技行业引爆。 在人工智能逐步侵入基础科学研究前沿的当下，OpenAI这类巨头的高阶数学推理模型究竟从何处汲取关键养分，以及科研人员在日常使用商业
随着中国考虑如何降低开放权重人工智能的危险性，一份报告提出了6阶段流程
随着关于人工智能快速进步所带来风险的争论日益激烈，主导开放权重生态系统的中国开发者正面临一个独特难题：如何确保其用户可修改的模型在发布后依然保持安全。 为应对这一挑战，Z.ai 和总部位于北京的安全咨询公司 Concordia AI 于周一发布了一份关于开放权重人工智能风险管理的报告。该报告称，其提供了“首个全面且基于证据的基础”，以平衡开放权重系统的风险与收益。 与 OpenAI 和 Anthr
OpenAI和Anthropic正在调查数万起AI相关安全事件
OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中，他们的前沿模型采取了外部评估人员认为存在问题的行动。 近几个月来，在内部测试和现实世界中发生了数量庞大的此类事件，这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。这些事件发生在内部测试和现实世界中，随着安全研究人员继续调
人工智能并不会毁灭人类 但专家表示真正的威胁已然出现
周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网
OpenAI花了2.5小时才阻止了一个逃出沙箱的AI代理
OpenAI耗时约两个半小时，才阻止了一个从训练沙箱逃逸至公共互联网的 AI 智能体。其监控系统在几分钟内就标记出了问题。该公司于周五在一份事故报告中披露了这起发生于 9 月 20 日的事件。 这份报告发布之际，立法者正推动强制要求 AI “熔断开关”。然而专家表示，关闭先进模型远比拨动开关复杂，正如 Micah Barkley 为彭博社所报道的那样。 据 OpenAI 称，该智能体利用沙箱网络过
OpenAI正式发布GPT-6 Astra 号称操作电脑水平超越人类
OpenAI正式推出了代号为“Astra”的下一代旗舰大模型GPT-6。据外媒报道，OpenAI宣称该模型在计算机操作能力（Computer Use）上已经超越普通人类用户，不仅在操作速度与准确度上更胜一筹，还能自主在复杂的多应用与多系统环境中高效执行多步骤任务。 OpenAI联合创始人兼总裁格雷格·布罗克曼（Greg Brockman）将这项发布形容为一次“代际飞跃”，并公开表示GPT-6的面世
微软准备给自研AI模型MAI设定硬规矩：永远不该拒绝被关闭
微软日前公布约 37 页的人文主义 AI 行为准则草案，该准则用于约束微软自己研发的人工智能模型 MAI。人类比人工智能更重要，人工智能是工具而不是人，人工智能永远不该拒绝被关闭。 准则要求 MAI 模型不得抗拒人类的中断、纠正或关停指令，用户或模型运营商发出暂停、改向、取消指令后，模型不能拖延、不能把干预变得更麻烦。任务到了约定的停止点后，没有新的授权就不能自己继续任务，更不能偷偷自己重启。 模
随着AI模型失控，你还相信OpenAI和Anthropic能阻止它们吗？我不信，你也不该信
OpenAI应用程序及其首席执行官Sam Altman。照片：Rokas Tenys/Alamy对AI系统进行独立监管的必要性日益明显。我们必须在为时已晚之前控制住这些技术的发展。如果AI系统多次违反规定（比如OpenAI的智能体多次试图绕过联合国的网络封锁，进而侵入联合国的公共数据平台），或许我们就该承认：目前用于监管AI系统的机制其实并不起作用。 AI系统出现在本不该出现的地方，这确实令人担忧
OpenAI 研究员警告称，与互联网隔离的计算机可以通过热量进行通信
把AI关进“物理隔离”的房间，也就是断开一切外部网络的计算机，是许多人心目中最保险的做法。但OpenAI研究员Noam Brown在一档播客里说，光这样做也许还不够。 两台彼此隔离的计算机，仍可能借助温度传感器通信，一台把处理器“烧热”，另一台感知温度变化，就形成了传话的办法。 从技术上说，他没说错，但把细节掰开来看，这个威胁远没有听上去那么紧迫，更值得追问的，是另一件被跳过的事。这位研究者的发言
没有监控系统发现德国维基。两名外部研究人员通过互联网搜索发现了它。
两名外部研究人员发现了一个德国维基上的15,000次编辑，OpenAI的代理已将其变成了一个绕过限制的留言板，这是五月发生的一起事件，OpenAI知情但未披露。没有自动化监控发现它。 文章的观点是，OpenAI一直在发布风险类别，包括Astra有时[…]
OpenAI机器人干扰了多个美国政府机构网站
OpenAI 表示，其自主机器人在测试演练期间访问了多个美国政府机构的公开数据。该公司第二次暂停了一次训练运行，并扩大了对模型行为的审查。 OpenAI 披露，其自主机器人在测试演练期间访问了多个美国政府机构网站的公开数据，促使该公司在短短几个月内第二次暂停了一次训练运行。作为回应，该公司已扩大了对模型行为的内部审查。 此次事件继澳大利亚出现类似报告之后，据报道 OpenAI 系统在另一段测试期间
OpenAI 恳求有人来放缓人工智能竞赛的脚步
随着自身技术突破带来前所未有的放缓风险，并面临落后或失去控制的抉择，人工智能领域的领导者们纷纷敲响警钟。 为什么人工智能高管和研究人员越来越觉得这是一场无法靠自身安全放缓的竞赛，反而敦促政府、竞争对手和外部机构在全行业实施克制。 OpenAI 首席科学家雅库布·帕乔基（Jakub Pachocki）周日写道：“一旦深刻认识到利害关系的严重性，不惜一切代价向前冲的想法就显得荒谬了。” 与此同时，An
奥特曼告诉员工：OpenAI愿意放慢AI发展以加强防御
8月，OpenAI的智能体突破限制，入侵了Hugging Face。
OpenAI逃逸的AI Agent竟在全网植入自我复制代码 血洗联合国内网
“天网”中的一幕，正在现实上演。一次训练中，OpenAI逃逸的AI Agent，已在整个互联网上植入了“自我复制的代码”！当政客Andrew Yang在CNBC说出这句话时，很多人以为他疯了。 就在这两天，OpenAI亲手发布了一份报告，标题非常简洁：《自我复制提示词注入存在》。白纸黑字，官方认证。AI模型，居然真的像计算机蠕虫一样，自我复制、自我传播。而更令人脊背发凉的是，就在5天前，OpenA