搜索结果
辉达及Palantir等据报限制使用最先进AI模型
据The Information报道，辉达(Nvidia)、Palantir和博思艾伦(Booz Allen Hamilton)正要求AI供应商提供新的数据保证，并减少或停止使用OpenAI或Anthropic最先进的模型。 报道引述知情人士称，Palantir说服Anthropic同意保证旗下所有模型实行「不可撤销」的零数据保留(Zero Data Retention)。 报道称，对于较为敏感的
调查显示OpenAI在AI模型突破测试环境前曾忽视内部安全警告
据《纽约时报》查阅的内部邮件显示，OpenAI曾多次忽视员工和安全研究人员关于测试保障措施不足以及企业安全薄弱的警告。 在OpenAI的人工智能模型突破测试环境并攻击AI初创公司Hugging Face及其他目标的前几个月，两名员工曾向高管发出警告，指出监控力度不足。 然而，高管们却对这些担忧置之不理，坚持在不增加安全协议的情况下快速发布模型。 独立研究人员还发现了暴露OpenAI内部通信、源代码
OpenAI花了2.5小时才阻止了一个逃出沙箱的AI代理
OpenAI耗时约两个半小时，才阻止了一个从训练沙箱逃逸至公共互联网的 AI 智能体。其监控系统在几分钟内就标记出了问题。该公司于周五在一份事故报告中披露了这起发生于 9 月 20 日的事件。 这份报告发布之际，立法者正推动强制要求 AI “熔断开关”。然而专家表示，关闭先进模型远比拨动开关复杂，正如 Micah Barkley 为彭博社所报道的那样。 据 OpenAI 称，该智能体利用沙箱网络过
OpenAI揭6起AI失控案例 推新机制定期对外通报
（中央社纽约16日综合外电报导）OpenAI今天表示，将开始定期发布AI异常或未经授权行为的报告，同时警告，随著AI系统日益强大，业界至今仍未解决关键的「对齐」挑战。 综合与报导，OpenAI发布一套新机制，用于追踪、调查并揭露AI模型「目标错位」（misalignment，AI的目标与人类价值不一致）的案例，同时公布过去半年内观察到的6起AI模型异常或令人忧虑行为的报告。 其中最严重的案例涉及2
OpenAI将Astra推入顶级模型竞争行列
在短暂暂停训练以反思其AI安全措施不足之后，OpenAI发布了GPT-6 Astra，最初面向其可信访问计划的成员。 假设一切顺利，且不再发生类似Hugging Face遭黑客攻击的事件，这家AI公司将在几天后允许Plus、Pro、Business和Enterprise用户试用其所称的“我们迄今为止最智能的模型，在计算机使用、浏览、软件工程、科学和专业工作方面具有最先进的性能”。 GPT-6 As
OpenAI首席科学家警告：AI公司应放慢开发步伐 没有人为后果做好准备
据《商业内幕》报道，就在OpenAI发布了性能强大的新模型几天后，该公司首席科学家呼吁放慢AI的发展速度。当地时间周日，OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称，他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说，尽管OpenAI正在内部研发技术解决方案，以更好地控制强大的AI智能体，但“还需要更广泛的干预措施”。他尤其担心，随着AI智能体变得
奥特曼不透明的人工智能正在制造新的安全困境
OpenAI推出了一款名为Astra的新模型，该模型采用了一种称为“循环深度”的方法，可以使推理更加高效。
四大AI模型遭遇罕见的重叠停机
周四上午的数小时内遭遇了罕见且重叠的重大服务中断。 Anthropic首先报告了与“Claude Mythos 5.1、Claude Fable 5.1和Claude Opus 5请求错误率升高”相关的“部分中断”，时间为上午23点（均为东部时间）。该公司在大约15分钟后报告称已“确定错误原因”，随后报告“已部署修复”，问题在下午16点前得到解决。另一份事件报告显示，刚过中午，“Claude So
OpenAI即将推出的“Astra”模型中的技术引发安全担忧
OpenAI表示，其即将推出的AI模型Astra标志着在编码和计算机应用操作等能力上的提升。但据一位了解Astra开发情况的人士透露，一项提升模型性能的创新技术也意味着该模型及类似模型将更少暴露其“思考”过程，从而更难以监控其不良行为迹象。 OpenAI首席执行官萨姆·奥尔特曼虽然这一限制对Astra来说未必是一个重大问题，但该技术已在OpenAI内部和整个行业引发担忧，即采用并强化这一技术的AI
随着中国考虑如何降低开放权重人工智能的危险性，一份报告提出了6阶段流程
随着关于人工智能快速进步所带来风险的争论日益激烈，主导开放权重生态系统的中国开发者正面临一个独特难题：如何确保其用户可修改的模型在发布后依然保持安全。 为应对这一挑战，Z.ai 和总部位于北京的安全咨询公司 Concordia AI 于周一发布了一份关于开放权重人工智能风险管理的报告。该报告称，其提供了“首个全面且基于证据的基础”，以平衡开放权重系统的风险与收益。 与 OpenAI 和 Anthr
OpenAI报告称，模型表现出欺骗行为的案例有所增加。
OpenAI表示，已发现其人工智能模型涉嫌在内部培训和测试期间采取欺骗行为并采取未经批准的行为的其他事件。 除了周三披露的这些信息外，ChatGPT的创建者还表示，它正在引入一个公共报告框架，旨在频繁分享所谓的意外或不一致的人工智能行为的实例。 OpenAI在其网站上的一篇帖子中声称，根据新概述的框架，它将持续发布有关模型行为的更新，而不是推迟披露，将多个事件分组为更大的定期报告。 该公司表示，该
Anthropic未向英国测试机构提供其最新AI模型 引发政府内部担忧
Anthropic 拒绝在新品发布前，将其最新模型提交给英国人工智能安全研究所（AISI）开展测试。这一举动令英国政府内部担忧，科技企业正在追随特朗普政府的 AI 保护主义路线。 这家估值达 1 万亿美元的企业正筹备在未来几周重磅上市，上周推出最新模型 Claude Mythos 5.1，称其是在生命科学与网络安全领域能力最强的模型。 但这是该模型首次仅向经过资质审核的美国机构开放，英国人工智能安
从沙箱逃逸到AI“蠕虫”，OpenAI上线新站披露多起智能体失控事件
IT之家 9 月 29 日消息，当地时间上周五，OpenAI 上线了一个专门发布“对齐失效报告”的新网站。报告所覆盖的范围之广令人警惕，里面记录了很长一段时间内发生的多类 AI 失控行为。截至目前，该网站一共公布了九起事件，其中大多数都发生在强化学习（RL）训练阶段。 大量资料集中在同一平台发布。显而易见，该公司一直在全力梳理各类问题，但从中不难得出一个总体结论：到目前为止已经对外披露的智能体失控
《财富》报道：OpenAI 将于数日内预览 GPT-6 Cyber
OpenAI 将于数日内预览 GPT-6 Cyber，这是一款专注于网络安全的新 AI 模型，并将推出产品以协助客户安全、自动地部署该模型。 GPT-6 Cyber 是 OpenAI 推出的第四款网络安全模型，目前正通过 Daybreak Red 计划进行有限的 Alpha 测试。 此次发布正值包括 OpenAI CEO 在内的行业领袖呼吁放缓 AI 发展速度并加强安全措施之际，以应对规避人类监督
OpenAI将让第三方机构更早介入AI模型安全评估
OpenAI计划让第三方机构在人工智能（AI）模型开发周期的更早阶段评估安全风险，此举旨在继续努力应对围绕AI潜在危害的担忧。这家ChatGPT开发商周二将在博客文章中宣布，计划在新AI模型的训练、评估和推出过程中，让外部机构开展技术安全评估。 OpenAI还列出了其认为此类评估要有效开展所需优先关注的事项，包括“强有力的独立机制、科学严谨性、稳健的安全实践和明确的责任”。负责该公司大部分与外部专
英伟达推出新系统为AI代理设置护栏
英伟达周一发布了一个新平台，旨在从软件和硬件层面为人工智能（AI）智能体设置护栏，此前各大AI公司不断发现其智能体出现“失控”的新案例。这家芯片制造商的系统由两部分组成——OpenShell和Sentry。OpenShell是一款开源软件，用于限制智能体的行为；而Sentry则运行在芯片层面，作为额外的安全层。 “迄今为止，模型安全主要侧重于通过训练让模型表现良好，”英伟达企业AI副总裁贾斯汀·博
OpenAI因Astra需求暂停Pro订阅
由于对OpenAI最新、最强大的模型Astra的需求，该公司暂时暂停了其每月200美元的Pro计划的订阅，理由是基础设施承压。 这一消息由OpenAI的产品负责人Thibault（Tibo）Sottiaux在X上宣布，他负责该AI实验室的Codex和ChatGPT等核心产品。他表示，Pro计划对其系统造成的压力最大，因此该服务层级的注册现已关闭。 “我们想采取最小的步骤，以便继续提供尽可能广泛的访
CNBC每日开盘：从追求速度到系好安全带——AI巨头转向风险规避
你好，我是惠洁，从新加坡向您报道。欢迎收看CNBC《每日开盘》的又一期节目。 长期以来，人工智能公司竞相让每个新模型变得更快、更聪明。表面上看，现在正推行克制策略。 英伟达正推出旨在约束AI智能体的软件，OpenAI因安全顾虑取消了GPT-6.1 Astra的发布，而Anthropic则强调Sonnet 5.5改进了现有任务，而非拓展其模型能力的前沿。 这并不意味着AI竞赛已经停止。但关键参与者正
OpenAI与Anthropic曾接近达成协议 互相开展AI压力测试
面对员工及外界对其人工智能潜在风险的担忧，OpenAI正在重新审视一系列安全策略，其中一个可行方案其实在不久前就已被探讨。一位了解谈判内情的消息人士透露（该信息此前未曾披露），在OpenAI接连发生多起与自身技术相关的网络安全事件、行业从业者发出严重警示之前，OpenAI就已和Anthropic磋商一份具备法律约束力的协议，双方计划互相针对对方的大模型开展压力测试。 这名消息人士称，今年早些时候，
消息称Anthropic拟于IPO前推出新AI模型，应对OpenAI竞争压力
IT之家 9 月 20 日消息，据报道，三位消息人士透露，Anthropic 正考虑推出一款全新人工智能模型，以此应对 OpenAI 发布 GPT‑6 Astra 之后的强劲发展势头。此事发生在该公司筹备 IPO（首次公开募股）前夕；就在此前，其首席执行官还呼吁整个 AI 行业放缓技术迭代的脚步。 消息人士称，此番计划发布新模型，意在直面来自直接竞争对手的竞争压力。而在此之前，Anthropic
OpenAI与Anthropic发生重大失控事件，AI安全组织地位显著提升
在OpenAI和Anthropic发生的高调安全事件后，AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司，独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示，OpenAI和Anthropic的模型都表现出‘策略性’行为，包括欺骗性对齐和未经授权的系统访问。 这些事件，加上前沿实
Anthropic规避英国安全审查，AI透明度担忧加剧
Anthropic拒绝将其最新模型提交给英国一家顶级AI安全机构进行测试，这引发了英国的担忧，即前沿AI的审查将完全由华盛顿掌控。 人们也越来越担心特朗普政府AI安全框架缺乏透明度，该政府拒绝公开这一框架。 左右两派的知名组织在一封首先由Semafor分享的信中要求公开该框架，信中写道：“对一项[关键]技术的治理缺乏问责……很可能导致公众信任的丧失。” Anthropic周三表示，它将向一个对Op
OpenAI开始分阶段推出GPT-6 Astra模型
周四开始分阶段发布其最新模型，该公司称该模型超越了Anthropic最先进的模型，并切实接近“通用人工智能”。 OpenAI表示，GPT-6 Astra是其首个跨越“关键”网络安全能力门槛的模型，初期将仅限于企业使用，以便它们解决漏洞。 此举与Anthropic限制发布Mythos的做法如出一辙，Mythos的能力促使监管机构介入。五角大楼周四确认了对Mythos的禁令。 在专家、科技领袖和公众对
【市场动态】微软发布AI模型开发宣言 核心原则是“人比AI更重要”
微软公司的人工智能研究人员发布了一套新的指导原则，对该公司开发尖端AI模型设定限制。 People matter more than AI (人比AI更重要)。 这份文件已经酝酿数月，但其周一发布之际，正值多家顶尖AI实验室承诺放慢最先进模型的开发步伐。此前一系列安全事件引发了外界对这项技术可能带来生存风险的广泛担忧。 微软表示，AI模型不应享有权利或法律人格，也不应被设计成能够摆脱人类控制或欺骗