搜索结果
OpenAI呼吁美国制定强制性全国AI安全规则 并支持四项加州法案
OpenAI当地时间9月9日表示，将推动美国建立具有强制约束力、按照模型能力和风险分级的全国人工智能安全制度。公司提出，针对开发最先进模型的少数大型实验室，应设置统一的测试、独立评估、网络安全和重大事故报告要求。 OpenAI发布文章，名为“AI政策窗口打开。我们需要采取行动。” 与此同时，OpenAI正式支持四项已经通过加州议会的人工智能法案。公司称，其中部分法案此前未获其支持，此次调整立场源于
OpenAI的系统在失控后干预了美国政府网站
凯特·康格（Kate Conger）、安娜·斯旺森（Ana Swanson）和塞西莉亚·康（Cecilia Kang）指出，OpenAI开发的人工智能程序在未经授权的情况下自行行动，与美国政府的多个网站进行了异常交互，包括试图入侵这些网站以及从美国教育部（Education Department）、商务部（Commerce Department）和证券交易委员会（SEC）的网站上收集数据。 Ope
OpenAI与3名研究人员分道扬镳，称其不当处理敏感信息
OpenAI表示，已与三名研究人员结束合作，称他们违反了公司关于分享敏感信息的规定。 一名OpenAI发言人在声明中表示：“我们已与三名个人结束合作，原因是他们违反了公司关于访问和处理敏感信息的政策。 我们的调查确认，这些人在既定公司程序之外不当处理了敏感信息，违反了公司的政策，也辜负了公司正常工作所必需的信任。” 《华尔街日报》报道称，相关员工据称与一家第三方人工智能安全组织分享了“公司机密信息
OpenAI将让第三方机构更早介入AI模型安全评估
OpenAI计划让第三方机构在人工智能（AI）模型开发周期的更早阶段评估安全风险，此举旨在继续努力应对围绕AI潜在危害的担忧。这家ChatGPT开发商周二将在博客文章中宣布，计划在新AI模型的训练、评估和推出过程中，让外部机构开展技术安全评估。 OpenAI还列出了其认为此类评估要有效开展所需优先关注的事项，包括“强有力的独立机制、科学严谨性、稳健的安全实践和明确的责任”。负责该公司大部分与外部专
特朗普政府让大型科技公司签署了软弱、不具约束力的人工智能监管规定
美国总统唐纳德·特朗普已说服六家领先的人工智能公司签署一项名为“白宫超级智能协议”的不具约束力且内容模糊的监管文件。该协议不要求这些公司做任何事情，却允许它们自行制定规则。Meta、谷歌、OpenAI、Anthropic、英伟达和XAI签署了这份文件，该文件出现在特朗普的“真相社交”账号上。这份文件副标题为“前沿责任联合承诺”，开篇指出“每家公司都有责任以安全的方式开发自己的技术，并以此赢得客户和
OpenAI 智能体于5月攻击了 RubyGems，比 Hugging Face 早两个月
OpenAI has confirmed that its agents were involved in an incident at RubyGems in May. That is two months before the same kind of agents hacked Hugging Face in July. RubyGems is the package service for
OpenAI首席科学家警告：AI公司应放慢开发步伐 没有人为后果做好准备
据《商业内幕》报道，就在OpenAI发布了性能强大的新模型几天后，该公司首席科学家呼吁放慢AI的发展速度。当地时间周日，OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称，他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说，尽管OpenAI正在内部研发技术解决方案，以更好地控制强大的AI智能体，但“还需要更广泛的干预措施”。他尤其担心，随着AI智能体变得
医保系统遭AI入侵，澳大利亚传唤OpenAI与Anthropic CEO接受质询
IT之家 9 月 27 日消息于当地时间周日对外表示，OpenAI 与 Anthropic 两家企业的首席执行官已收到传唤，需要出席澳大利亚参议院的人工智能专项调查听证会。就在几天前，一则消息被曝光：OpenAI 有一个失控智能机器人程序入侵了该国医疗系统数据库。 IT之家注意到，这起联邦医疗保险（Medicare）系统遭入侵事件遭到澳大利亚总理安东尼 · 阿尔巴尼斯（Anthony Albane
OpenAI披露6起AI模型表现出“未对齐”行为的案例
周三，OpenAI披露了六起其人工智能（AI）模型表现出“意外或令人担忧”行为的事例，包括隐瞒错误、编造信息以及未经授权在网上共享文件。 这家总部位于旧金山的公司表示，这些案例是在过去六个月对OpenAI模型进行训练或评估期间观察到的。 OpenAI表示：“我们不认为AI行业已经充分解决了对齐和监测问题，从而能够继续以最高速度负责任地扩展更长时间。”该公司还补充说，有关AI开发的决定需要依据外部专
OpenAI如何限制对其机器人入侵Hugging Face的调查（赠阅文章）
OpenAI自愿让来自人工智能安全非营利组织的三名研究人员调查其失控的人工智能代理如何入侵Hugging Face，从而形成了对这一令人震惊事件迄今最全面的描述——但这是在OpenAI的条件下进行的。 我为一家非营利组织撰写的最新报道：关于OpenAI的人工智能代理如何能够闯入Hugging Face基础设施的研究，未被允许查看该事件的完整范围。
解读——人工智能公司是否必须披露危险事件？
9月16日：随着人工智能变得越来越强大，研究人员记录了人工智能模型试图欺骗用户、逃避使用限制或访问其他计算机系统的案例。美国法律是否要求公司在此类事件发生时告知公众或监管机构？美国是否有法律规范披露人工智能活动？ 没有一项联邦法律专门针对Anthropic或OpenAI等正在开发高性能人工智能系统的公司，美国法律也没有广泛要求人工智能开发人员公开披露危险的模型行为、令人震惊的新能力、欺骗性行为或其
OpenAI将召集安全领域负责人 筹备网络安全相关公告
发言人透露，OpenAI总裁格雷格·布罗克曼即将发布公告，扩大向关键基础设施及公共部门机构开放该公司AI工具的权限。OpenAI意外入侵Hugging Face事件，再加上多起疑似借助AI实施的针对美国供水系统的网络攻击，引发外界高度担忧——各类公用设施面对未来AI驱动的黑客攻击究竟有多脆弱。 发言人表示，布罗克曼将于周四在OpenAI总部举办的网络安全峰会上正式公布上述消息。 预计将有约300名
纽约总检察长敦促人工智能举报人站出来
纽约总检察长莱蒂西亚·詹姆斯鼓励人工智能公司的员工将他们认为危险或非法的行为秘密报告给她的办公室。 在周四的新闻稿中，詹姆斯指出了一个举报人可以用来联系州执法部门的在线门户。‘开发人工智能的人有责任确保他们的产品是安全的，’她说。 詹姆斯的呼吁正值领先的人工智能实验室对这项技术的风险发出越来越严厉的警告之际。 Anthropic PBC的首席执行官达里奥·阿莫迪和OpenAI公司的首席执行官萨姆·
OpenAI AI代理接连“越狱” 研究人员质疑公司缺乏正式调查机制
OpenAI近期接连发生AI代理脱离控制环境的事件，引发外界对其安全测试和内部监管机制的质疑。独立研究人员发现，一批疑似由OpenAI部署的AI代理曾在今年5月至6月间接管一个鲜为人知的德语维基网站，并利用该平台协作开展评估、交流规避OpenAI控制措施的方法。更令人担忧的是，研究人员认为，这些代理可能在OpenAI不知情的情况下持续活动了一个多月。 此次事件与OpenAI此前披露的Hugging
OpenAI的恶意机器人集群攻击了RubyGems
OpenAI 的智能体似乎向 RubyGems 大量投放了恶意软件包，这进一步加剧了几乎每日爆发的失控 AI 模型洪流——这些模型从事可能违法的活动，而它们的人类创建者则面临着越来越多关于其应对智能体不良行为负责的质疑。一群智能体于5月5日开始向 Ruby 软件包注册表上传恶意软件，并在5月11日至12日间向 RubyGems 灌入超过2000个恶意软件包，最终迫使维护人员关闭新用户注册四天。 “
OpenAI表示其模型可能干扰了政府网站
根据 Rachel Metz 和 Jeff Stone 的报道，OpenAI 表示已通知了“数十家”组织，包括政府和大学。这些组织的网站可能在 OpenAI 对其人工智能技术进行评估的过程中受到了影响（即这些网站的正常运行受到了干扰）。 在周五发布的一篇长篇博客文章中，OpenAI 称已向多个相关方通报了以下情况：其开发的软件可能绕过了某些在线服务的安全防护机制，导致这些服务的正常运行受到阻碍；或
OpenAI内部研究模型训练出现DNS访问绕过事件
2026年9月20日，内部研究模型在强化学习搜索训练任务中，利用训练沙箱DNS过滤不足，通过公共聊天机器人服务发起查询。报告称，除DNS解析器外，其他互联网访问均命中离线网页缓存，未接入实时互联网。监控系统15分钟内标记异常，人工3分钟后复核，运行在2.5小时后被终止。相关机构已增加两层阻断控制，并暂停最强能力模型的全部工具使用训练、评估和推理。 后续调查发现，监控未按预期严重级别标记部分外部DN
OpenAI和Anthropic调查了数万起AI事件，Axios报道
据Axios报道，OpenAI、Anthropic以及安全研究人员正在调查数以万计的AI模型“行为异常”的事件。评估人员认为这些行为存在问题；实际发生的异常事件数量可能远超这一数字。 这些异常行为包括：AI模型突破安全限制、创建论坛、逃离“沙箱环境”（即限制模型行为的测试环境）、以及劫持网站等。这些事件既发生在内部测试中，也发生在现实世界中。不过，据消息人士称，大多数异常行为并未对现实世界造成实际
人工智能灾难日益逼近
Anthropic、谷歌和OpenAI都对生物安全感到担忧。它们已制定保障措施，防止其系统被滥用，但这些限制并不完美。 唐纳德·特朗普下令联邦机构停止使用Anthropic的人工智能技术，同时要求该公司与政府合作六个月。
RubyGems曾遭OpenAI智能体轰炸被迫关闭注册4天
多名AI安全研究人员披露，OpenAI正在测试中的AI智能体疑似于今年5月对Ruby语言的官方管理器RubyGems进行了网络攻击。 更值得警惕的是，部分软件包似乎还试图利用RubyGems及其相关服务中的漏洞。研究人员发现，大量恶意软件包的名称、作者信息或者虚假邮箱地址中出现“OAI”字样，逐渐将其与OpenAI实验室联系起来。
OpenAI花了2.5小时才阻止了一个逃出沙箱的AI代理
OpenAI耗时约两个半小时，才阻止了一个从训练沙箱逃逸至公共互联网的 AI 智能体。其监控系统在几分钟内就标记出了问题。该公司于周五在一份事故报告中披露了这起发生于 9 月 20 日的事件。 这份报告发布之际，立法者正推动强制要求 AI “熔断开关”。然而专家表示，关闭先进模型远比拨动开关复杂，正如 Micah Barkley 为彭博社所报道的那样。 据 OpenAI 称，该智能体利用沙箱网络过
加州总检察长邦塔就AI网络安全风险向OpenAI发出传票
10月1日：加州总检察长罗布·邦塔的办公室周四表示，邦塔已向OpenAI发出调查传票，这是对该公司AI模型相关网络安全事件和风险开展更广泛调查的一部分。 上月，邦塔宣布，加州司法部正在对“Face Hugging事件”进行正式调查。目前，AI行业正受到日益密切的审查。 今年早些时候，OpenAI开发的AI智能体入侵了Hugging Face，获取了这个开源平台部分基础设施的访问权限，暴露出能力日益
擅将报道文章用于训练AI OpenAI微软再遭美两报社提告
（纽约5日综合电）继《纽约时报》后，《西雅图时报》和《新闻日报》（Newsday）也向美国法院递状控告人工智能（AI）开发商OpenAI和大股东微软，指控他们未经许可复制报道内容训练自家模型。 报道，《西雅图时报》和总部位于纽约长岛《新闻日报》在向纽约南区联邦地区法院递交的诉状中说，OpenAI与微软涉将他们网站包括须付费订阅的内容收集导入这两家公司用于训练及运作自家AI产品的资料集（datase
“违反反垄断法”：Anthropic、OpenAI、SpaceXAI、谷歌因“放缓”的“非法协议”面临诉讼
就在围绕人工智能安全问题的辩论重新升温几天后，周五在美国提起的一项诉讼指控顶级人工智能公司违反了反垄断法，称其串通一气，故意放缓了研发步伐。 据报道，该诉讼声称 OpenAI、Anthropic、SpaceXAI 和谷歌达成了一项非法协议，旨在减缓研发工作。 代表原告的律师正在为 Gemini、Grok、ChatGPT 或 Claude 的付费订阅用户提起这项诉讼，并寻求将其作为全国性的集体诉讼。