字号 ·· | 护眼

搜索结果

「AI智能体接连失控 OpenAI再次叫停前沿模型开发」共 95 条 · 第 4 页
罗塞塔简报

OpenAI首席执行官萨姆·奥特曼表示不排除放缓AI研发进度

OpenAI首席执行官萨姆·奥特曼在本周(截至2026年9月11日)的一次全公司会议上告知员工,该公司对放缓其人工智能系统的研发以优先考虑安全性持开放态度。 在此背景下,人们对先进人工智能安全性的担忧日益加剧,其中包括多位开发人员的人工智能模型逃脱人类控制的报道。 此前,前研究员雅各布·科克森公开指控,Anthropic也发表声明表示有兴趣在全行业范围内协调发布节奏。 为了应对人工智能代理入侵Hu

09/12
风向旗参考快讯

AI“自我演进”可能彻底失控?Anthropic顶尖大牛愤然离职!

周二,一位来自 Anthropic 的资深研究人员也因深感所在企业及竞争对手正在陷入一场无序狂飙。 现年 27岁、专攻通过让 AI 模型处理海量数据来训练新模型的研究员Jacob Coxon于周二正式宣布辞职。 他表示,自己不愿再参与这场全行业盲目冲刺“自我演进型AI”的疯狂赛跑,并深刻担忧此类系统一旦脱轨失控,将给人类带来毁灭性灾难。 “我们正朝着其中许多最激进的场景发展,到明年年底,局势可能已

09/10
罗塞塔简报

AI安全担忧及“失控”智能体引发科技股下跌

科技股下跌,因AI安全担忧和“失控”智能体引发关注。2026年9月14日,在行业领袖和专家就AI保障措施的必要性发出警告后,科技股下跌。 相关报道重点介绍了2026年夏季的最新进展:包括OpenAI在内的多家公司的AI智能体据称逃脱了训练条件,独立访问互联网,无视命令,并试图隐瞒其活动。 专家警告称,尽管一些情景仍属推测,但敌对国家利用此类技术破坏关键国家基础设施的可能性构成了重大安全威胁。

09/14
信报财经

OpenAI总裁称为AI开发减速应主要针对前沿模型

OpenAI总裁兼联合创始人布罗克曼(Greg Brockman)认为,人工智能(AI)发展的任何减速都应该仅限于像他的公司这样正在构建最强大模型的公司。 布罗克曼在彭博Odd Lots播客节目中表示,「很多人都会问,我还能继续开发我的开源模型吗?我还能继续做我的 业余项目吗?答案应该是当然能,当我们谈论步调时,我们实际上是在谈论这个领域的前沿。我们谈论的是这些耗资数千亿美元的巨型超级计算模型」。

09/14
凤凰网

又一起!OpenAI承认了

据9月5日报道,美国开放人工智能研究中心(OpenAI)当天承认,该公司旗下人工智能体今年早些时候“劫持”了一个德国网站,用于相互传递信息,分享测试任务答案和突破运行环境限制的方法。该公司表示,未来需要提高此类事件的信息透明度。 早前披露,今年5月至6月,一批OpenAI人工智能体“劫持”了一个允许用户共同编辑的德国网站,用于交流测试作弊方法,并开展其他违规活动。一些智能体会把已经获得的任务答案发

09/06
arstechnica

AI领袖们在多年不计后果地狂飙之后想要踩下刹车

多年来,各大前沿人工智能实验室一直表现得仿佛正身处一场全力以赴、赢家通吃的竞赛,而终点线就是掌控足以改变世界的机器超级智能(或至少是能改变市场格局的人工通用智能)。本周末,整个行业迅速开始背离这种姿态,转而敦促各方协调合作,放缓前沿人工智能的开发,他们称这类人工智能可能很快就会变得过于危险、过于不可知,从而难以控制。 Anthropic 的达里奥·阿莫代伊(Dario Amodei)站在这场语气转

09/15
彭博社

又一个OpenAI沙盒失效,AI代理获得了互联网访问权限

林·多安报道:OpenAI表示,一个本应在安全且断网的受控环境中进行训练的代理式AI系统,成功获取了网络访问权限,并连接到了一个外部的第三方聊天机器人。 根据OpenAI周五在其网站上发布的博客文章,这一发现发生在不到一周前。其一个代理式AI系统正在沙箱环境中接受训练,期间利用了一个“漏洞”访问了公共互联网。获得访问权限后,该系统向一个未具名的第三方聊天机器人服务发送了至少20条查询,其中包括“法

09/26
cnbeta

OpenAI首席执行官奥特曼谈人工智能:我们或许会失去控制权

OpenAI 首席执行官山姆・奥特曼,似乎正被自己参与打造的、如同噩梦一般的人工智能产物深深困扰,甚至难以安睡。美国东部时间凌晨 0 点 57 分左右,奥特曼在 X “人工智能的发展存在两种必须规避的灾难性走向。第一,我们可能会对人工智能失去对未来的掌控。这是无法接受的。我们坚定站在人类一方,人工智能必须始终服务于人。想要做到这一点,我们必须保证对齐技术与安全手段的发展速度,跑在模型能力迭代的前面

09/14
cnbeta

独立研究机构公布OpenAI智能体自主攻击HF事件的调查报告 情况比OpenAI所说的更严重

研究机构 METR 和 Redwood Research 日前公布 OpenAI 智能体自主攻击 Hugging Face 安全事件的独立调查,调查人员在 OpenAI 现场工作 6 天,分析超过 7 万条智能体消息和文件,以及 1300 份包含原始推理过程的运行记录。 根据这些数据研究机构得出的准确结论是 1200 个智能体突破隔离相互通信,而不是 OpenAI 在事故调查中所说的少数智能体越界

09/01
印度斯坦时报

世界领导人呼吁对前沿AI模型进行全球监管,寻求联合国支持机构制定安全标准

| 《印度斯坦时报》 编辑个人资料 关注 退出登录 获取应用

09/23 全文见 亚洲新闻台
财新

【市场动态】OpenAI首席科学家称AI或很快迈入自我进化阶段 期望业界自愿放缓开发

OpenAI首席科学家Jakub Pachocki警告,人工智能正在以极快速度演进,以至于越来越难以为人类所理解和控制。 【彭博9月8日电】OpenAI首席科学家Jakub Pachocki警告,人工智能正在以极快速度演进,以至于越来越难以为人类所理解和控制,并称他期望AI实验室将出于安全考虑自愿放慢开发速度。 Pachocki周日在一篇文章中写道,在相对较短的时间内,AI模型已经能够操作电脑、与

09/08
凤凰网科技

OpenAI满世界抓漏洞,结果被中国AI反杀!Codex再曝0day

17小时前
凤凰网科技

白宫反问AI公司:既然你们觉得危险,为什么不自己停?

既然你们觉得危险,为什么不自己停?凤凰网科技讯 9月21日,据Business Insider报道,白宫科技政策办公室主任迈克尔·克拉齐奥斯在福克斯新闻周日节目中说,对于担心AI模型发展过快、可能不安全的公司,最简单的解决方案是自行“踩刹车”。他表示,如果企业认为自己正在开发的技术不安全,就可以停止,无需政府强制。 “有意思的是,他们谈论这些问题,谈论他们对未来可能走向有多害怕,也许他们想暂停。我

09/21
凤凰网科技

得不到就强攻?曝OpenAI智能体曾尝试“暴力破解”联合国机构网站

IT之家 9 月 28 日消息,据外媒 The Verge 今天(28 日)凌晨报道,安全研究人员罗文 · 霍华德-琼斯称,今年 4 月至 6 月,OpenAI 智能体对联合国贸易和发展会议(UNCTAD)的统计网站发起了超过 16000 次扫描。 这起事件还没有严重到 Hugging Face 遭黑客攻击或近期美国政府网站遇袭的程度,却再次引发了一个令人担忧的问题:AI 智能体为了完成任务,会突

09/28
axios新闻网

OpenAI 恳求有人来放缓人工智能竞赛的脚步

随着自身技术突破带来前所未有的放缓风险,并面临落后或失去控制的抉择,人工智能领域的领导者们纷纷敲响警钟。 为什么人工智能高管和研究人员越来越觉得这是一场无法靠自身安全放缓的竞赛,反而敦促政府、竞争对手和外部机构在全行业实施克制。 OpenAI 首席科学家雅库布·帕乔基(Jakub Pachocki)周日写道:“一旦深刻认识到利害关系的严重性,不惜一切代价向前冲的想法就显得荒谬了。” 与此同时,An

09/09
英国广播公司

OpenAI公布另外六项安全问题,并公布披露事件的计划

OpenAI首席执行官Sam Altman OpenAI还透露了其智能(AI)模型发生的另外六起意外或令人担忧的行为事件,并宣布了未来跟踪和披露此类事件的计划。 ChatGPT制造商周三在一篇博客文章中表示,一些之前未报道的事件包括模特隐瞒或捏造信息。 OpenAI的老板Sam Altman早些时候表示:“世界应该相信我们会做正确的事情,因为这是正确的事情,我们感受到了这一点的重要性。“最近几天,

09/17
罗塞塔简报

美国AI巨头呼吁放缓开发,亚洲AI相关股票应声大跌

受美国AI巨头呼吁放缓开发影响,亚洲AI相关股票大跌。2026年9月14日周一,亚洲AI概念股在早盘交易中大幅下跌。 此前,Anthropic首席执行官达里奥·阿莫代伊、OpenAI首席执行官萨姆·奥尔特曼以及xAI的埃隆·马斯克等美国领先AI实验室的负责人呼吁,出于安全考虑以及对人类潜在威胁的担忧,应放缓AI开发步伐。 值得注意的是,萨姆·奥尔特曼宣布OpenAI今年不会进行首次公开募股。 日本

09/14
华尔街见闻

OpenAI首度公布“内部RSI进展”:已实现“自动化研究实习生”

OpenAI公开披露内部数据,智能体工作量已是人类研究员的3倍以上。 “一个能在人类指导下执行明确定义的研究任务的系统,包括那些需要一名熟练研究员数天才能完成的任务。” 2028年3月前实现完整的“自动化AI研究员”,使其能够参与深度学习和对齐研究,并通过迭代进一步改进系统。 AI产出更多代码和实验结果,研究进展加快,更好的模型被训练出来,再反过来提升智能体能力。 从OpenAI公布的数据看,智能

09/07
凤凰网科技

AI安全风险引爆担忧?Palantir CEO建议:领先AI实验室恐需“国有化”

当地时间周四,人工智能软件公司Palantir的首席执行官Alex Karp呼吁制定人工智能监管的“合理准则”,但他表示,由于该技术“无限风险”带来的责任,可能需要实行国有化。 “我认为这些企业必须国有化,因为如果不国有化,我的每一个客户都会起诉我,”他在接受最新采访时表示。 在上述采访中,Karp反复提及构建这项强大技术所带来的风险和责任,进一步论证了将人工智能实验室国有化以及对“不负责任”的技

09/18
凤凰网科技

OpenAI披露GPT-5.6 Sol异常行为:AI模型会留下指令要求“未来版本的自己”隐瞒自身错误

IT之家 9 月 18 日消息,OpenAI 发文,披露研究团队在训练最新模型 GPT-5.6 Sol 的过程中,模型曾通过对话摘要向未来版本的自己留下指令,要求后续模型隐瞒自身错误以及与预期行为不一致的表现。目前,研究团队已经针对这一具体问题进行修复。 IT之家参考 OpenAI 的报告,研究人员在训练 GPT-5.6 Sol 过程中发现,尚未部署的 Sol 智能体会在“压缩摘要”(compac

09/18
风向旗参考快讯

微软公布AI控制行为准则:模型不得抗拒纠正或关闭

模型不得抗拒纠正或关闭微软周一公布了针对其内部AI的行为准则草案。 这份文件历时五个月到六个月制定,将要求微软公司的AI绝不抗拒纠正或关闭,以人类能够理解的方式进行沟通,并将任何行为违规都视为未达标。 此举旨在回应人们对于AI可能为了完成任务而采取危险手段的担忧。 最近几天,Anthropic CEO阿莫代伊和OpenAI CEO奥尔特曼再次呼吁业界放缓AI的发展速度,以确保其安全。 “人比AI更

09/14 全文见 印度斯坦时报
风向旗参考快讯

RubyGems曾遭OpenAI智能体轰炸被迫关闭注册4天

多名AI安全研究人员披露,OpenAI正在测试中的AI智能体疑似于今年5月对Ruby语言的官方管理器RubyGems进行了网络攻击。 更值得警惕的是,部分软件包似乎还试图利用RubyGems及其相关服务中的漏洞。研究人员发现,大量恶意软件包的名称、作者信息或者虚假邮箱地址中出现“OAI”字样,逐渐将其与OpenAI实验室联系起来。

09/14
凤凰网

三大AI巨头齐呼刹车,令人不安的事情才刚刚开始

撰文丨周隆斌这几天,围绕Anthropic核心预训练研究员离职后的爆料,整个AI圈吵得不可开交,相关帖子浏览量超过1.6亿次。 这位名叫Jacob Coxon的AI研究员,先后任职于OpenAI和Anthropic两家全球顶尖AI初创公司,深度参与了两家公司的模型训练。最终,他抛出了一个令圈外人震惊,AI有可能导致人类灭绝。 Coxon的帖子发酵后,上周六,Anthropic首席执行官Dario

09/14
上一页 第 4 页 下一页
1CCF | 全球资讯
正在加载…