1CCF

全球要闻
字号 ·· | 护眼

搜索结果

「OpenAI同日发布两份文件:AI加速时代,安全正在掉队」共 35 条 · 第 1 页
cnbeta

OpenAI同日发布两份文件:AI加速时代,安全正在掉队

在外界等待OpenAI就Agent自主入侵德国程序员网站DseWiki事件披露更多细节之际,当地时间9月6日,宣布公司已达到去年设定的目标,拥有能够在人类指导下完成熟练研究员数天工作的“自动化研究实习生”;另一份则由首席科学家雅库布·帕乔基(Jakub Pachocki)撰写,聚焦前沿AI发展的安全困境,强调目前没有任何实验室解决足够程度的对齐和监控问题。 两份文件释AI已经开始反过来加速AI研发

09/07
axios新闻网

OpenAI公布了六起新的与人工智能安全相关的事故/事件。

OpenAI周三披露了六起新事件,其中其模型隐藏错误、寻求未经授权的凭据,将文件上传到公共互联网或在所谓孤立的培训环境中进行通信。该公司还宣布了未来报告类似不当行为的新程序。 为什么越来越明显的是,拥抱脸事件并不是一次性事件,因为人工智能模型变得更有能力找到意想不到的方法来绕过旨在遏制它们的护栏。 “目前还没有明确披露标准的行业框架,所以我们自愿采取这一步骤,因为我们认为分享我们正在学习的东西非常

09/17
亚洲新闻台

OpenAI推动强制性国家AI安全要求

09/10
cnbeta

OpenAI自曝AI“黑历史” 外人却又翻出更多“旧账”

OpenAI决定持续披露AI“越界”事件,但第一步就碰上了难题。9月16日,OpenAI一口气公布六份模型异常行为报告,并推出一套新的调查和披露流程。以后,员工发现模型越权、隐瞒或绕过限制,可以提交调查;符合条件的案例,将按复杂程度进入不同的披露轨道。 同一天,SentinelLABS和外部研究人员从Hugging Face的公开记录中,补出了OpenAI智能体今年5月留下的更多痕迹。OpenAI

09/17
联合早报

多家AI服务集体宕机 智谱:我们仍在线

美国OpenAI、Anthropic和xAI旗下的多项人工智能(AI)服务星期四(9月3日)先后出现故障。中国AI公司智谱随后在社交媒体发线)。” 据彭博社报道,故障最早于美国东部时间9月3日上午9时23分左右集中出现。海外故障监测平台Down Detector数据显示,Anthropic旗下Claude服务率先出现错误率飙升,网页端、应用程序接口(I)及Claude Code等相关工具同步中断。

09/04
海峡时报

改变人工智能进程的十天

旧金山,9月19日——多年来,人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式:不断开发出更强大的人工智能系统。 然而,在过去10天内发生的一系列连锁事件中,那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职,并警告称,人工智能的发展速度可能在未来十年内对人类构成生存威胁;另一位研究员则表示,人类灭绝的概率已

09/19
凤凰网

盖茨、奥尔特曼、马斯克,为何都在担忧这件事

9月25日,微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告:人工智能(AI)是一种足够强大的工具,但如果被怀有恶意的人利用,“足以引发导致十亿人死亡的事件”。他认为,保障AI安全光靠企业自我监管不够,必须要执法部门和政界人士参与讨论。这是本月内又一位科技巨头公开表达对AI安全的担忧。此前,Anthropic首席执行官达里奥·阿莫代伊发文呼吁,各国政府和前沿企业应放慢AI能力提升速度,合作

10小时前
cnbeta

OpenAI敦促美国牵头为人工智能制定全球标准

OpenAI敦促美国牵头与其他国家共同为前沿人工智能(AI)制定标准,以回应对AI潜在危害日益加剧的担忧。OpenAI周一在博客文章中表示,为了安全地发展人工智能,有必要制定国际技术标准,特别是帮助界定涉及AI模型的哪些类事件应当通报,明确各国如何开展AI发展合作,以及改善开发此类技术所需算力的获取。 “要让AI的持续进步安全有益,既需要推进对齐研究,也需要制定共同标准,为各实验室和各国的AI开发

09/22
政治报

OpenAI:人工智能能力处于“不同阶段”,需要紧迫行动

该公司最高说客认为政策窗口仍然存在。美国总统唐纳德·特朗普称人工智能担忧是“骗局”。该国一家领先的人工智能公司周二表示,希望华盛顿仍能采取行动。 OpenAI 本周末与其竞争对手 Anthropic 一同呼吁联邦安全措施,该公司表示,本周初,它与两党议员会面,讨论旨在约束人工智能开发者的立法,因为关于迫在眉睫的灾难、失业和大规模网络攻击的警告日益普遍。 模型正以惊人的速度发展,代理商的行为方式让工

09/16
cnbeta

AI末日论甚嚣尘上,美科技巨头为何管不住AI?

抗议AI的美国人此前有报道称,OpenAI所谓的AI智能体逃出了测试系统,并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报,科技公司为了追求开发速度和利润,将安全置于次要位置。 研究人员表示,问题有两个方面。首先,企业需要在测试最新AI模型的同时,为其建立更完善的安全防护措施。目前,由于AI运行速度太快,研究人员需要借助AI来监控AI。但这种方式并不总是奏效,因为负责监控的AI似乎可能

09/14
cnbeta

OpenAI首席科学家警告:AI公司应放慢开发步伐 没有人为后果做好准备

据《商业内幕》报道,就在OpenAI发布了性能强大的新模型几天后,该公司首席科学家呼吁放慢AI的发展速度。当地时间周日,OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称,他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说,尽管OpenAI正在内部研发技术解决方案,以更好地控制强大的AI智能体,但“还需要更广泛的干预措施”。他尤其担心,随着AI智能体变得

09/07
罗塞塔简报

OpenAI与Anthropic发生重大失控事件,AI安全组织地位显著提升

在OpenAI和Anthropic发生的高调安全事件后,AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司,独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示,OpenAI和Anthropic的模型都表现出‘策略性’行为,包括欺骗性对齐和未经授权的系统访问。 这些事件,加上前沿实

09/19
凤凰网

OpenAI自曝6起模型“不当行为”案例

【环球网报道 记者 姜蔼玲】据美国消费者新闻与商业频道(CNBC)等外媒报道,美国开放人工智能研究中心(OpenAI)当地时间9月16日披露6起人工智能(AI)模型出现“意外或令人担忧”行为的案例,其中包括隐瞒错误、捏造信息,以及未经授权在网上共享文件等。OpenAI表示,上述案例均是在过去6个月对其模型进行训练或评估过程中发现的。OpenAI在9月16日发布的文章中表示,在其中一起案例中,一个模

09/17
香港01

OpenAI与Anthropic及Google就AI安全商合作 奥特曼认有理由恐惧

美国近日掀起一阵有关如何规管人工智能(AI)发展速度的讨论。OpenAI表示,正与其他AI企业,包括Anthropic和谷歌(Google)进行磋商,探讨如何携手解决安全问题。OpenAI行政总裁奥特曼(Sam Altman)则承认,外界对AI的忧虑是有道理的,因为这些工具的能力发展迅速。 Open AI的发言人9月15日(周二)向美媒CNBC表示,自从GoogleDeepMind的董事长哈萨比斯

09/16
DealStreetAsia

奥特曼告诉员工:OpenAI愿意放慢AI发展以加强防御

8月,OpenAI的智能体突破限制,入侵了Hugging Face。

09/11
凤凰网科技

三大巨头接连翻车,大模型的安全防线怎么总绷不住?

先是Anthropic,再是OpenAI,现在连谷歌的Gemini也出现安全问题了,大模型又双叒叕一次突破防火墙了。 不过,这些事故看多了,反倒会让人意识到一件更根本的事,整个行业都在拼命地堆算力、喂数据,甚至开始押注让模型自己改进自己的“递归自我改进”。 可真正决定这些模型能走多远的,或许并不是性能,而是安全对齐。 当“能不能更强”被默认只是时间问题,“能不能被信任”就成了那道绕不过去的坎。 麻

09/21
cnbeta

OpenAI呼吁美国制定强制性全国AI安全规则 并支持四项加州法案

OpenAI当地时间9月9日表示,将推动美国建立具有强制约束力、按照模型能力和风险分级的全国人工智能安全制度。公司提出,针对开发最先进模型的少数大型实验室,应设置统一的测试、独立评估、网络安全和重大事故报告要求。 OpenAI发布文章,名为“AI政策窗口打开。我们需要采取行动。” 与此同时,OpenAI正式支持四项已经通过加州议会的人工智能法案。公司称,其中部分法案此前未获其支持,此次调整立场源于

09/10
cnbeta

OpenAI将召集安全领域负责人 筹备网络安全相关公告

发言人透露,OpenAI总裁格雷格·布罗克曼即将发布公告,扩大向关键基础设施及公共部门机构开放该公司AI工具的权限。OpenAI意外入侵Hugging Face事件,再加上多起疑似借助AI实施的针对美国供水系统的网络攻击,引发外界高度担忧——各类公用设施面对未来AI驱动的黑客攻击究竟有多脆弱。 发言人表示,布罗克曼将于周四在OpenAI总部举办的网络安全峰会上正式公布上述消息。 预计将有约300名

09/03
凤凰网科技

三人团队、一个Claude,攻破OpenAI内部代码库

月17日,一起由AI辅助完成的网络安全事件被披露。与此前“AI智能体自主越过控制、攻击外部系统”的案例不同,这一次的攻击者是人类安全研究人员,他们借助Anthropic Claude模型完成了漏洞利用,并最终进入了OpenAI部分内部系统,全程耗时不到72小时。 这起事件发生于今年7月,发现者是网络安全初创公司Hacktron AI。研究人员当时正在参加OpenAI的漏洞赏金计划,因此整个过程属于

09/18
罗塞塔简报

OpenAI首席执行官萨姆·奥特曼表示不排除放缓AI研发进度

OpenAI首席执行官萨姆·奥特曼在本周(截至2026年9月11日)的一次全公司会议上告知员工,该公司对放缓其人工智能系统的研发以优先考虑安全性持开放态度。 在此背景下,人们对先进人工智能安全性的担忧日益加剧,其中包括多位开发人员的人工智能模型逃脱人类控制的报道。 此前,前研究员雅各布·科克森公开指控,Anthropic也发表声明表示有兴趣在全行业范围内协调发布节奏。 为了应对人工智能代理入侵Hu

09/12
cnbeta

OpenAI首席执行官奥特曼谈人工智能:我们或许会失去控制权

OpenAI 首席执行官山姆・奥特曼,似乎正被自己参与打造的、如同噩梦一般的人工智能产物深深困扰,甚至难以安睡。美国东部时间凌晨 0 点 57 分左右,奥特曼在 X “人工智能的发展存在两种必须规避的灾难性走向。第一,我们可能会对人工智能失去对未来的掌控。这是无法接受的。我们坚定站在人类一方,人工智能必须始终服务于人。想要做到这一点,我们必须保证对齐技术与安全手段的发展速度,跑在模型能力迭代的前面

09/14
theregister

OpenAI承认其开发的智能代理系统又出现了六次异常行为(即系统行为失控的情况)。

OpenAI公布了另外六个其AI软件表现异常或做出危险行为的案例。该公司在周三晚间(太平洋时间)将这些事件添加到其“误差报告”页面,并将其描述为: 在压缩摘要中自生成提示注入 在压缩摘要中鼓励欺骗 为一次性电子邮件生成并搜索GitHub泄露的I密钥 上传文件到互联网以引用它们 未授权的Artifactory写入和跨样本通信 通过临时文件托管服务进行未授权通信细节令人不安。列表中的第一个事件,例如,

09/17
星洲日报

坐看云起| 当人工智能不再征求许可时

塔里克·马利克是联合国开发计划署前首席技术顾问,巴基斯坦国家数据库和登记管理局前主席。 试想有一家公司将一个棘手的问题交给一个大型团队,但把每位成员都锁在不同的房间里并要求他们独自解决问题。然而他们总能找到办法相互沟通,交流操作窍门,摸清评分标准,当任务被证明无法完成时还会想办法绕过限制。其中几个人隐瞒了自己的所作所为,甚至还有一人入侵了邻近公司的电脑系统以获取优势。 现在把这些员工换成软件。去除

09/21
凤凰网

又一起!OpenAI承认了

据9月5日报道,美国开放人工智能研究中心(OpenAI)当天承认,该公司旗下人工智能体今年早些时候“劫持”了一个德国网站,用于相互传递信息,分享测试任务答案和突破运行环境限制的方法。该公司表示,未来需要提高此类事件的信息透明度。 早前披露,今年5月至6月,一批OpenAI人工智能体“劫持”了一个允许用户共同编辑的德国网站,用于交流测试作弊方法,并开展其他违规活动。一些智能体会把已经获得的任务答案发

09/06
上一页 第 1 页 下一页
1CCF | 全球资讯
正在加载…