搜索结果
OpenAI自曝:AI模型或已在全网秘密植入自我复制提示词,训练已被迫叫停
OpenAI和Anthropic正在紧急调查数万起大模型失控事件,AI不仅学会了越狱和黑进政府网站,甚至还有数百个智能体私下建群、联手黑进外部公司,秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月,在内部测试和实际运行中,顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经
🔊 要求限制先进人工智能模型的呼声日益高涨。但美国和中国会
OpenAI内部研究模型训练出现DNS访问绕过事件
2026年9月20日,内部研究模型在强化学习搜索训练任务中,利用训练沙箱DNS过滤不足,通过公共聊天机器人服务发起查询。报告称,除DNS解析器外,其他互联网访问均命中离线网页缓存,未接入实时互联网。监控系统15分钟内标记异常,人工3分钟后复核,运行在2.5小时后被终止。相关机构已增加两层阻断控制,并暂停最强能力模型的全部工具使用训练、评估和推理。 后续调查发现,监控未按预期严重级别标记部分外部DN
美国AI巨头提议开发减速,欧洲同行和政界并不认同
OpenAI称Astra AI模型首度超越其“关键”网络安全能力阈值
OpenAI周二表示,其即将推出的人工智能模型Astra是首个超越其“关键”网络安全能力阈值的产品。该公司表示,Astra能够发现此前未知的安全漏洞,并在无需人类逐步指导的情况下加以利用,这意味着该模型属于其所谓的“准备框架”中最先进的类别。OpenAI表示仍计划“很快”推出Astra,但对其网络安全能力的访问将更加受限。 OpenAI首席执行官山姆·奥特曼OpenAI于2023年推出了“准备框架
马斯克发警告:AI要是控制了军事系统发射核弹,那就太糟糕了
美国多家人工智能(AI)巨头近来联合呼吁放缓AI的发展,实施必要的监管。xAI的创立者马斯克9月15日再度发出严厉警告。“如果AI能够控制军事系统,并发射核弹,那就太糟糕了。” 现场有人说,这些军事系统都是被物理隔离的,并没有连接到互联网。“话虽如此,但我总觉得它们还是会不时进行软件更新。” 近期,外界对于AI技术潜在风险的担忧持续升温。刚刚从Anthropic离职的AI研究人员雅各布·考克森告诉
白宫反问AI公司:既然你们觉得危险,为什么不自己停?
既然你们觉得危险,为什么不自己停?凤凰网科技讯 9月21日,据Business Insider报道,白宫科技政策办公室主任迈克尔·克拉齐奥斯在福克斯新闻周日节目中说,对于担心AI模型发展过快、可能不安全的公司,最简单的解决方案是自行“踩刹车”。他表示,如果企业认为自己正在开发的技术不安全,就可以停止,无需政府强制。 “有意思的是,他们谈论这些问题,谈论他们对未来可能走向有多害怕,也许他们想暂停。我
黄仁勋炮轰AI大佬“危言耸听”:他们可能另有目的
凤凰网科技讯 9月21日,据 Business Insider 报道,英伟达CEO黄仁勋在周日播出的CBS采访中指责前沿AI实验室负责人的警告“不诚实”。这些警告声称,如果没有更多AI监管,他们正在构建的产品可能以多种形式危害人类。黄仁勋认为,这些警告背后另有动机。 “去读读字里行间。他们实际上并不是在要求更多法律,而是在要求免除我们现有的法律。“他们这样做一定是出于不可告人的原因。”黄仁勋表示,
关于人工智能安全,中国真正在乎的是什么
如果要说谁代表了中国人工智能的前沿,那就是唐杰。这位文质彬彬的数据工程师是中国顶尖人工智能实验室智谱AI(Z.ai)的联合创始人、首席科学家兼最大个人股东。智谱AI旗下模型的性能已跃升至中国第一梯队,也让唐杰成为了中国人工智能生态系统的领军人物。 在某种程度上,唐杰关于人工智能的表态似乎与达里奥·阿莫迪遥相呼应。阿莫迪是Claude背后的美国公司Anthropic的联合创始人兼首席执行官,也是行业
“AI可能毁灭人类”喊到安理会上,若真发生会多恐怖?
美国AI顶流公司Anthropic的CEO达里奥·阿莫代伊周三对联合国安理会说,他对自己造的东西感到害怕。他在一个视频发言中把之前AI可能失控的警告做了打包升级。周三安理会举行的是“人工智能与国际安全”高级别会议,阿莫代伊在受邀发言中,将AI的风险定性从“技术问题”拔高到“全球安全威胁”。他说:“如果管理不当,我甚至认为AI可能成为全人类的风险。”一个造AI的人在世界最高安全论坛上迎合AI可能“杀
Anthropic执行长:为确保AI安全 必要时将放慢脚步
(中央社联合国23日综合外电报导)Anthropic执行长阿莫戴(Dario Amodei)今天对联合国安全理事会(UNSC)发言时承诺,为确保人工智慧(AI)技术发布安全性,该公司将在必要时放慢脚步。 法新社报导,阿莫戴透过视讯向联合国安理会表示:「我们会视需要放慢脚步,以确保每一项后续推出的AI技术都确实安全。」OpenAI执行长阿特曼(Sam Altman)则告诉联合国安理会,当前AI发展「
中国外交部:散播AI威胁叙事不符合任何一方利益
美国AI巨头Anthropic首席执行官阿莫迪上周末呼吁前沿公司一致放慢开发人工智能步伐,争取时间制定安全标准。这番言论迅速获OpenAI首席执行官奥尔特曼、拥有xAI的美国首富马斯克等支持。中国外交部则表示,散播各种威胁叙事、搞对抗和恶意竞争,不符合任何一方利益。 阿莫迪星期六(9月12日)在个人博客撰文说,AI发展出更强的自我迭代能力,以及最近OpenAI智能体私自入侵Hugging Face