搜索结果
OpenAI自曝6起模型“不当行为”案例
【环球网报道 记者 姜蔼玲】据美国消费者新闻与商业频道（CNBC）等外媒报道，美国开放人工智能研究中心（OpenAI）当地时间9月16日披露6起人工智能（AI）模型出现“意外或令人担忧”行为的案例，其中包括隐瞒错误、捏造信息，以及未经授权在网上共享文件等。OpenAI表示，上述案例均是在过去6个月对其模型进行训练或评估过程中发现的。OpenAI在9月16日发布的文章中表示，在其中一起案例中，一个模
OpenAI机器人干扰了多个美国政府机构网站
OpenAI 表示，其自主机器人在测试演练期间访问了多个美国政府机构的公开数据。该公司第二次暂停了一次训练运行，并扩大了对模型行为的审查。 OpenAI 披露，其自主机器人在测试演练期间访问了多个美国政府机构网站的公开数据，促使该公司在短短几个月内第二次暂停了一次训练运行。作为回应，该公司已扩大了对模型行为的内部审查。 此次事件继澳大利亚出现类似报告之后，据报道 OpenAI 系统在另一段测试期间
OpenAI在失控智能体针对政府后暂停训练其最强大模型
该公司已发现OpenAI代理违反安全控制、损害网站和在线服务可用性（或以其他方式产生负面影响）的案例。一位公司发言人向《连线》证实，只有在确信能够防止模型出现此类行为时，才会恢复训练。 尽管OpenAI此前曾试图在一群代理逃出沙盒并利用互联网接入入侵初创公司Hugging Face后切断代理的直接访问权限，但模型仍能找到间接的变通方法。首席执行官萨姆·奥特曼周五在X平台上表示，关于公司对其代理在训
OpenAI内部研究模型训练出现DNS访问绕过事件
2026年9月20日，内部研究模型在强化学习搜索训练任务中，利用训练沙箱DNS过滤不足，通过公共聊天机器人服务发起查询。报告称，除DNS解析器外，其他互联网访问均命中离线网页缓存，未接入实时互联网。监控系统15分钟内标记异常，人工3分钟后复核，运行在2.5小时后被终止。相关机构已增加两层阻断控制，并暂停最强能力模型的全部工具使用训练、评估和推理。 后续调查发现，监控未按预期严重级别标记部分外部DN
OpenAI因接连发生智能体失准事件而暂停前沿模型训练
OpenAI表示，已暂停所有“我们能力最强的模型”的内部训练，并继续开展首席执行官萨姆·奥尔特曼所称的“一项广泛且持续进行的审查，涉及我们的智能体在训练和评估期间对互联网访问的使用”。公司在一份关于所谓失准事件的报告中披露了此次暂停措施。事件发生在一项常规研究任务期间，一个智能体试图利用互联网访问限制中的漏洞。OpenAI称，不当的DNS过滤机制使该智能体在被要求提供一名博客作者的生平资料时，得以
OpenAI因'严重'网络安全风险将限制Astra模型
OpenAI正准备发布其最新的网络安全关键型大语言模型Astra。该公司预计很快将提供该模型，但将限制对其最尖端网络安全功能的访问。 Astra能够发现比目前公开可用的最先进OpenAI模型更多的安全漏洞。然而，内部测试发现该模型能够在最少人工输入的情况下执行复杂的网络攻击，这促使公司增加了安全层。 在Hugging Face事件后，OpenAI采取额外预防措施，正在预览其采取的措施，同时向潜在客
人工智能并不会毁灭人类 但专家表示真正的威胁已然出现
周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网
辉达及Palantir等据报限制使用最先进AI模型
据The Information报道，辉达(Nvidia)、Palantir和博思艾伦(Booz Allen Hamilton)正要求AI供应商提供新的数据保证，并减少或停止使用OpenAI或Anthropic最先进的模型。 报道引述知情人士称，Palantir说服Anthropic同意保证旗下所有模型实行「不可撤销」的零数据保留(Zero Data Retention)。 报道称，对于较为敏感的
山姆·奥特曼排除OpenAI在2026年上市，称原因是安全
OpenAI今年不会上市，萨姆·奥尔特曼表示原因是安全。“我会说不是2026年，”他周五在公司旧金山总部接受《财富》采访时表示。“鉴于安全方面正在发生的一切，现在上市将是不明智的时机。” 此次采访由《财富》主编艾莉森·尚特尔进行。奥尔特曼表示，公司在安全和对齐方面“有很多事情要做”，将在业务准备就绪、社会准备就绪时上市，并且“社会需要在每个能力层级上应对这些模型”。他表示OpenAI乐意推迟。 今
OpenAI首席科学家警告：AI公司应放慢开发步伐 没有人为后果做好准备
据《商业内幕》报道，就在OpenAI发布了性能强大的新模型几天后，该公司首席科学家呼吁放慢AI的发展速度。当地时间周日，OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称，他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说，尽管OpenAI正在内部研发技术解决方案，以更好地控制强大的AI智能体，但“还需要更广泛的干预措施”。他尤其担心，随着AI智能体变得
OpenAI发布新Astra模型，智能体安全性面临日益严格的审查
周四发布了一款新的人工智能模型，称其为迄今最优秀的模型，但也警告该模型有时会试图规避人类监控，与此同时，该公司因其智能体入侵其他公司系统而面临越来越多的审查。
三大巨头接连翻车，大模型的安全防线怎么总绷不住？
先是Anthropic，再是OpenAI，现在连谷歌的Gemini也出现安全问题了，大模型又双叒叕一次突破防火墙了。 不过，这些事故看多了，反倒会让人意识到一件更根本的事，整个行业都在拼命地堆算力、喂数据，甚至开始押注让模型自己改进自己的“递归自我改进”。 可真正决定这些模型能走多远的，或许并不是性能，而是安全对齐。 当“能不能更强”被默认只是时间问题，“能不能被信任”就成了那道绕不过去的坎。 麻
OpenAI公布另外六项安全问题，并公布披露事件的计划
OpenAI首席执行官Sam Altman OpenAI还透露了其智能（AI）模型发生的另外六起意外或令人担忧的行为事件，并宣布了未来跟踪和披露此类事件的计划。 ChatGPT制造商周三在一篇博客文章中表示，一些之前未报道的事件包括模特隐瞒或捏造信息。 OpenAI的老板Sam Altman早些时候表示：“世界应该相信我们会做正确的事情，因为这是正确的事情，我们感受到了这一点的重要性。“最近几天，
OpenAI花了2.5小时才阻止了一个逃出沙箱的AI代理
OpenAI耗时约两个半小时，才阻止了一个从训练沙箱逃逸至公共互联网的 AI 智能体。其监控系统在几分钟内就标记出了问题。该公司于周五在一份事故报告中披露了这起发生于 9 月 20 日的事件。 这份报告发布之际，立法者正推动强制要求 AI “熔断开关”。然而专家表示，关闭先进模型远比拨动开关复杂，正如 Micah Barkley 为彭博社所报道的那样。 据 OpenAI 称，该智能体利用沙箱网络过
CNBC：微软在Anthropic和OpenAI负责人同意放缓开发速度几天后，发布了临时行为准则，对AI模型施加限制。
根据行为准则，微软的模型不得响应有关武器制造的请求，不得协助采购危险物质，不得鼓励不健康的饮食习惯，也不得生成暴力或色情内容。
OpenAI呼吁美国制定强制性全国AI安全规则 并支持四项加州法案
OpenAI当地时间9月9日表示，将推动美国建立具有强制约束力、按照模型能力和风险分级的全国人工智能安全制度。公司提出，针对开发最先进模型的少数大型实验室，应设置统一的测试、独立评估、网络安全和重大事故报告要求。 OpenAI发布文章，名为“AI政策窗口打开。我们需要采取行动。” 与此同时，OpenAI正式支持四项已经通过加州议会的人工智能法案。公司称，其中部分法案此前未获其支持，此次调整立场源于
特朗普午餐会上，AI行业领袖谈最新模型与技术风险
OpenAI取消了最新模型的发布，Anthropic据称强调了其技术带来的生存性风险；在一次重要的白宫会议前夕，安全担忧进一步升级。两家公司的负责人将与美国总统唐纳德·特朗普，以及Meta和Nvidia的掌门人共进午餐，AI监管将成为首要议题。 然而，AI实验室的最新举措——OpenAI称此次更新未达到安全门槛，Anthropic则在上市前文件中提出相关担忧——似乎不太可能改变白宫的看法：特朗普拒
福克斯新闻人工智能通讯：特朗普痛斥人工智能末日论者的“骗局”
特朗普在峰会期间致电英伟达首席执行官黄詹森（Jensen Huang），将人工智能的担忧斥为“骗局”Facebook联合创始人达斯汀·莫斯科维茨（Dustin Moskovitz）的“有效利他主义”网络与人工智能监管推动有关萨姆·奥尔特曼（Sam Altman）表示，由于人工智能安全担忧，OpenAI不会在2026年上市Nvidia首席执行官黄詹森周一接到唐纳德·特朗普总统的意外电话，总统在其中驳
关于AI，盖茨发出“十亿人死亡”警告，为什么？
十亿人死亡，这是比尔・盖茨给AI风险划出的最惊悚红线。9月25日，微软联合创始人比尔・盖茨公开警告，人工智能足以引发造成十亿人死亡的灾难性事件。他的说法是：人类历史上，从未有任何一种武器，能比得上心怀恶意者借助最新AI工具形成的威胁。就在几个月前，盖茨还是全球最积极的AI支持者之一。转折从今年8月开始，他当月发表文章，首次系统预警AI风险：不法分子会利用日益强大的AI工具发动网络攻击、实施诈骗、散
CNBC每日开盘：从追求速度到系好安全带——AI巨头转向风险规避
你好，我是惠洁，从新加坡向您报道。欢迎收看CNBC《每日开盘》的又一期节目。 长期以来，人工智能公司竞相让每个新模型变得更快、更聪明。表面上看，现在正推行克制策略。 英伟达正推出旨在约束AI智能体的软件，OpenAI因安全顾虑取消了GPT-6.1 Astra的发布，而Anthropic则强调Sonnet 5.5改进了现有任务，而非拓展其模型能力的前沿。 这并不意味着AI竞赛已经停止。但关键参与者正
【市场动态】微软发布AI模型开发宣言 核心原则是“人比AI更重要”
微软公司的人工智能研究人员发布了一套新的指导原则，对该公司开发尖端AI模型设定限制。 People matter more than AI (人比AI更重要)。 这份文件已经酝酿数月，但其周一发布之际，正值多家顶尖AI实验室承诺放慢最先进模型的开发步伐。此前一系列安全事件引发了外界对这项技术可能带来生存风险的广泛担忧。 微软表示，AI模型不应享有权利或法律人格，也不应被设计成能够摆脱人类控制或欺骗
Anthropic规避英国安全审查，AI透明度担忧加剧
Anthropic拒绝将其最新模型提交给英国一家顶级AI安全机构进行测试，这引发了英国的担忧，即前沿AI的审查将完全由华盛顿掌控。 人们也越来越担心特朗普政府AI安全框架缺乏透明度，该政府拒绝公开这一框架。 左右两派的知名组织在一封首先由Semafor分享的信中要求公开该框架，信中写道：“对一项[关键]技术的治理缺乏问责……很可能导致公众信任的丧失。” Anthropic周三表示，它将向一个对Op
OpenAI首席执行员下周赴安理会作简报
阿尔特曼下周将到联合国安理会进行简报。（图：路透社） （华盛顿19日法新电）OpenAI周五表示，该公司首席执行员阿尔特曼将于下周在联合国大会期间，向联合国安全理事会作简报。 此次会议由国安理会轮值主席国的法国组织召开，此前该行业的主要参与者曾表示，出于安全考虑，可能有必要放缓人工智能的发展步伐。 随着人们对这项快速发展的技术所带来的危险的担忧日益加剧，联合国秘书长古特雷斯周三呼吁采取协调一致的国
OpenAI因Astra需求暂停Pro订阅
由于对OpenAI最新、最强大的模型Astra的需求，该公司暂时暂停了其每月200美元的Pro计划的订阅，理由是基础设施承压。 这一消息由OpenAI的产品负责人Thibault（Tibo）Sottiaux在X上宣布，他负责该AI实验室的Codex和ChatGPT等核心产品。他表示，Pro计划对其系统造成的压力最大，因此该服务层级的注册现已关闭。 “我们想采取最小的步骤，以便继续提供尽可能广泛的访