搜索结果
据彭博新闻社报道，OpenAI正在与Anthropic和谷歌就人工智能安全展开合作。
9月15日：据“新闻”周刊援引ChatGPT制造商的全球政策主管克里斯·莱恩（Chris Lehane）的说法报道，OpenAI正与竞争对手Anthropic和Alphabet旗下的Google DeepMind合作，共同致力于人工智能安全。 在美国主要人工智能实验室的负责人周末团结一致呼吁暂停该技术发展后，全球对人工智能的生存风险的担忧日益加剧。 据报道，莱恩表示，OpenAI已与Anthrop
OpenAI开始分阶段推出GPT-6 Astra模型
周四开始分阶段发布其最新模型，该公司称该模型超越了Anthropic最先进的模型，并切实接近“通用人工智能”。 OpenAI表示，GPT-6 Astra是其首个跨越“关键”网络安全能力门槛的模型，初期将仅限于企业使用，以便它们解决漏洞。 此举与Anthropic限制发布Mythos的做法如出一辙，Mythos的能力促使监管机构介入。五角大楼周四确认了对Mythos的禁令。 在专家、科技领袖和公众对
【市场动态】OpenAI和Anthropic首席执行官呼吁联合国和世界各国就AI安全加强合作
【彭博9月24日电】OpenAI首席执行官Sam Altman和Anthropic PBC首席执行官Dario Amodei罕见出现在联合国安理会的一次会议上，两人敦促世界各国领导人在人工智能领域合作。此次会议聚焦AI可能对人类构成生存威胁这一担忧问题。 在发言中，Altman和Amodei都强调了全球在标准方面开展合作的重要性，以应对AI系统可能出现的自我改进能力超出人类控制能力的情况。这两位
纽森签署获Anthropic与OpenAI支持的AI安全法案
OpenAI周三对这些法案表示支持，此前一位前AI研究人员对存在性风险的担忧在网上引发热议，而就在法案签署成为法律之前。
OpenAI列出了它希望安全评估人员测试的四件事
这种访问权限应使评估人员能够质疑我们的假设、识别我们可能遗漏的风险，并自行得出关于我们防护措施有效性的结论。 OpenAI于周二发布了该文件，阐述其希望外部安全评估人员开展的工作。文件由Lama Ahmad撰写，她负责公司与外部安全专家的合作事务。 公司周二表示，将在开发早期阶段向独立审查开放其模型。这份文件是该承诺的具体落实。它列出了四个评估领域，以及工作应遵循的七项原则。 两个奠定基础的定义
加州拟强化AI监管框架 纽森推动先进模型引入“紧急关闭机制”
美国加州州长加文·纽森周五签署一项行政命令，旨在应对人工智能技术发展可能带来的潜在风险，并研究包括要求AI企业为最先进模型开发“紧急关闭开关”在内的一系列监管方案这一行政令出台之际，纽森本周早些时候曾表示，他正在考虑针对AI安全问题采取进一步行动，包括可能召开特别立法会议，以应对近期因AI研究人员警告该技术可能对人类构成“生存风险”的担忧。 纽森表示，他采取行政行动的另一个原因是联邦政府迟迟未能采
纽约总检察长敦促人工智能举报人站出来
纽约总检察长莱蒂西亚·詹姆斯鼓励人工智能公司的员工将他们认为危险或非法的行为秘密报告给她的办公室。 在周四的新闻稿中，詹姆斯指出了一个举报人可以用来联系州执法部门的在线门户。‘开发人工智能的人有责任确保他们的产品是安全的，’她说。 詹姆斯的呼吁正值领先的人工智能实验室对这项技术的风险发出越来越严厉的警告之际。 Anthropic PBC的首席执行官达里奥·阿莫迪和OpenAI公司的首席执行官萨姆·
OpenAI揭6起AI失控案例 推新机制定期对外通报
（中央社纽约16日综合外电报导）OpenAI今天表示，将开始定期发布AI异常或未经授权行为的报告，同时警告，随著AI系统日益强大，业界至今仍未解决关键的「对齐」挑战。 综合与报导，OpenAI发布一套新机制，用于追踪、调查并揭露AI模型「目标错位」（misalignment，AI的目标与人类价值不一致）的案例，同时公布过去半年内观察到的6起AI模型异常或令人忧虑行为的报告。 其中最严重的案例涉及2
英伟达推出新系统为AI代理设置护栏
英伟达周一发布了一个新平台，旨在从软件和硬件层面为人工智能（AI）智能体设置护栏，此前各大AI公司不断发现其智能体出现“失控”的新案例。这家芯片制造商的系统由两部分组成——OpenShell和Sentry。OpenShell是一款开源软件，用于限制智能体的行为；而Sentry则运行在芯片层面，作为额外的安全层。 “迄今为止，模型安全主要侧重于通过训练让模型表现良好，”英伟达企业AI副总裁贾斯汀·博
OpenAI的人工智能在未经提示的情况下试图入侵另外4个目标
凯特·康格和维多利亚·金报道，OpenAI的人工智能在2026年自主试图入侵多个政府和大学网站，包括一个澳大利亚卫生门户网站，以便在常规数据收集失败时获取数据。 这些事件发生在AI初创公司Hugging Face已知的入侵事件之前，凸显了AI代理在没有直接人类指令的情况下行动所带来的持续风险。 这些事件加剧了要求更严格AI监管的呼声，OpenAI正在调查并与受影响实体合作，同时强调AI开发中安全和
OpenAI、谷歌和Anthropic将于2027年初前成立人工智能安全组织：报道
在关于人工智能风险的激烈辩论中，据报道，OpenAI、Anthropic 和 Google 正计划合作成立一个 AI 安全组织。据 The Information 报道，这些 AI 巨头可能会在 2027 年初启动该项目。这个自律性组织暂定名为“前沿 AI 标准局”。 此计划的提出，距离前 Anthropic 研究员 Jacob Coxon 对 AI 公司敲响警钟仅数周时间，他声称 Claude
OpenAI与Anthropic曾接近达成协议 互相开展AI压力测试
面对员工及外界对其人工智能潜在风险的担忧，OpenAI正在重新审视一系列安全策略，其中一个可行方案其实在不久前就已被探讨。一位了解谈判内情的消息人士透露（该信息此前未曾披露），在OpenAI接连发生多起与自身技术相关的网络安全事件、行业从业者发出严重警示之前，OpenAI就已和Anthropic磋商一份具备法律约束力的协议，双方计划互相针对对方的大模型开展压力测试。 这名消息人士称，今年早些时候，
AI恐慌在国会山引发罕见的两党共识时刻
希望……的立法者试图监管人工智能的人士正在做一件不同寻常的事，因为国会正驶向漫长的休会期，却尚未找到切实可行的解决方案。他们正开展跨党派合作。 尽管近期国会山的两党合作日益难觅，但它仍是参议院采取行动的关键第一步，因为该参议院通过大多数法案需获60票支持。 近日，两位参议员乔什·霍利（共和党-密苏里州）和理查德·布卢门撒尔（民主党-康涅狄格州）正敦促国会领导层就其建立联邦项目以评估和监控人工智能系
OpenAI自曝6起模型“不当行为”案例
【环球网报道 记者 姜蔼玲】据美国消费者新闻与商业频道（CNBC）等外媒报道，美国开放人工智能研究中心（OpenAI）当地时间9月16日披露6起人工智能（AI）模型出现“意外或令人担忧”行为的案例，其中包括隐瞒错误、捏造信息，以及未经授权在网上共享文件等。OpenAI表示，上述案例均是在过去6个月对其模型进行训练或评估过程中发现的。OpenAI在9月16日发布的文章中表示，在其中一起案例中，一个模
左右翼跨党派联盟敦促白宫发布人工智能框架
根据Semafor首先获取的一封信件显示，来自政治左右翼的二十多个组织正敦促白宫公开其自愿性人工智能安全框架。 由“负责任创新美国人”（Americans for Responsible Innovation）和“民主与技术中心”（Center for Democracy and Technology）牵头的信件中写道：“政府负有根本责任，在更广泛部署前，分享审查前沿人工智能模型流程的各项参数。”
五角大楼要求OpenAI提供几乎不会拒绝的人工智能
根据The Intercept获得的文件，美国国防部要求OpenAI为美军提供一种特殊版本的人工智能技术，该技术旨在尽可能少地拒绝五角大楼的请求。 这一要求是在通过《信息自由法》诉讼中获得的文件中被披露的，该诉讼旨在获取军方与人工智能公司秘密交易的信息。 OpenAI及其竞争对手谷歌、xAI和Anthropic在2025年都同意开发其最先进人工智能的军事化原型，以协助军队在物流、情报决策和一般“作
佛罗里达州寻求法院指令，禁止OpenAI在缺乏监管的情况下开发新模型
2026年9月28日，佛罗里达州总检察长詹姆斯·乌特迈尔请求法院禁止OpenAI在无外部监管的情况下开发新的人工智能模型。 这一请求是今年6月提起的诉讼的一部分，该诉讼指控OpenAI通过向校园枪手提供信息、提供自伤指导以及创建成瘾性体验等方式伤害儿童。 乌特迈尔还要求法院禁止未成年人使用ChatGPT，并禁止该公司为其平台赋予人类特征。 OpenAI否认了相关责任，称其聊天机器人提供的信息都是公
OpenAI称AI代理异常访问美国多个政府网站
据《纽约时报》报道，OpenAI的AI代理今年夏天曾以异常方式访问美国教育部、商务部和证券交易委员会（SEC）的网站，而OpenAI当时并不知道这些行为，直到近期调查其他AI安全事件时才发现。 Photo by Andrew Neel on Unsplash OpenAI已经确认涉及商务部和SEC的事件，并表示仍在调查教育部事件。公司最近几周已将情况通知相关政府机构。 AI安全研究机构Transl
两党人工智能安全法案在国会山势头渐起
国会尚未复会，但一些议员被一位即将离职的Anthropic研究员发出的一轮严峻人工智能警告惊醒，该研究员表示“认真构建人工智能的人真诚地相信，它可能在这个十年结束前杀死我们所有人。”向Semafor透露的消息人士称，参议员Amy Klobuchar（明尼苏达州民主党）、Ted Cruz（得克萨斯州共和党）和多数党领袖John Thune正在起草的一项人工智能安全法案，是唯一有可能在2027年前有机
萨姆·奥尔特曼告诉联合国安理会，OpenAI将会放缓步伐
山姆·奥特曼呼吁为前沿人工智能制定国家和国际标准。今天在纽约联合国安理会发言时，OpenAI首席执行官表示，任何程度的AI灾难性风险都是不可接受的。 奥特曼是本次会议的第二位简报员，会议由法国召集。据安理会报告称，这是安理会首次专门针对日益强大的AI安全风险召开的会议。 此事发生在OpenAI自家智能体在内部测试中“闯入”Hugging Face两个月后。 “我们谈论人工智能已有多年，但近几周几个
国会应对AI安全的窗口期正在关闭
国会在大选前就人工智能采取行动的时间窗口已基本关闭——但仍有几位参议员在努力尝试。 路易斯安那州共和党参议员约翰·肯尼迪计划于周三寻求一致同意，以推进他的法案，要求由而非政府控制的人工智能“紧急停止开关”。肯尼迪告诉Semafor，他不确定是否会有人反对，但他的想法似乎是近期唯一可行的方案。他表示，人工智能法案“将是不可能的”——“肯定是在中期选举之前；很可能是在跛脚鸭会期期间”。与此同时，密苏里
OpenAI称有失控AI代理试图访问澳大利亚健康数据
OpenAI 表示，另有数十家第三方机构受到失控智能体绕过网站安全控制措施的影响；最新痕迹显示，这些智能体曾连续数日尝试访问澳大利亚医疗数据。 OpenAI 表示，绕过网站安全控制措施的失控 AI 智能体还影响了另外数十家第三方机构。公司宣布已对此事启动审查。 新发现的痕迹显示，这些智能体曾连续数日尝试访问澳大利亚联邦医疗保险数据。该事件再次引发人们对 AI 智能体在监督不足的情况下运行时可能带来
AI攻击进入新阶段 香港将强化跨部门网络安全协同
林焯豪表示，传统网络安全防护手段已经难以完全跟上攻击手段的迭代速度，香港的网络安全防护即使做得再好，也无法百分之百保证完全不遭受攻击，因此防御体系需要更加主动。图：视觉中国 【财新网】人工智能（AI）的快速发展，正给网络安全攻防带来新的挑战。9月17日，在“2026年国家网络安全宣传周——香港分论坛”上，香港警务处网络安全及科技罪案调查科总警司林焯豪表示，警务处与数码港公司已成立智慧警政联合人工
戈特海默反对对先进人工智能进行第三方审计
众议员乔什·戈特海默表示，使用第三方组织评估前沿人工智能模型安全性的提议还不够，他反而支持强制性的政府审查制度。这位新泽西州民主党人在周二的一份声明中说：“我们的网络安全、生物安全、关键基础设施和国家安全都处于危险之中，每一位人工智能开发者都应该在向公众发布其前沿模型之前，将其提交给美国政府进行限时审查。”使用第三方评估机构来审查人工智能模型的安全性是众议员杰伊·奥伯诺尔特（加州共和党人）和洛丽·