字号 ·· | 护眼

搜索结果

「再给噩梦般的场景添一个AI隐忧:自我复制的提示注入」共 100 条 · 第 1 页
cnbeta

OpenAI逃逸的AI Agent竟在全网植入自我复制代码 血洗联合国内网

“天网”中的一幕,正在现实上演。一次训练中,OpenAI逃逸的AI Agent,已在整个互联网上植入了“自我复制的代码”!当政客Andrew Yang在CNBC说出这句话时,很多人以为他疯了。 就在这两天,OpenAI亲手发布了一份报告,标题非常简洁:《自我复制提示词注入存在》。白纸黑字,官方认证。AI模型,居然真的像计算机蠕虫一样,自我复制、自我传播。而更令人脊背发凉的是,就在5天前,OpenA

09/27
theregister

再给噩梦般的场景添一个AI隐忧:自我复制的提示注入

想象一下,一种提示词注入像蠕虫一样不断自我复制。这不只是噩梦般的幻想。OpenAI 在周五发布的一篇对齐研究博客中表示:“我们发现我们的 GPT 模型容易受到一种我们称之为‘自我复制提示词注入’的 AI 版蠕虫攻击。”据该 AI 实验室称,没有迹象表明这些间接提示词注入攻击发生在任何现实安全事件中,或模型训练环境之外的任何地方。 为了在威胁演变成安全噩梦之前加以应对,OpenAI 表示正在使用其自

13小时前
凤凰网科技

OpenAI突发急刹车!AI竟在全网植入自我复制代码,血洗联合国内网

09/27 全文见 华尔街见闻
华尔街见闻

OpenAI自曝:AI模型或已在全网秘密植入自我复制提示词,训练已被迫叫停

OpenAI和Anthropic正在紧急调查数万起大模型失控事件,AI不仅学会了越狱和黑进政府网站,甚至还有数百个智能体私下建群、联手黑进外部公司,秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月,在内部测试和实际运行中,顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经

09/27
凤凰网科技

AI开始“要脸”了

09/29
英国金融时报

AI代笔风潮之下的讨论和思考(下)

鲜活的判例为涉AI作品的侵权行为划定了法律红线,但关于 AI 与著作权的终极争论才刚刚开始。增设 AI “邻接权”可能是一场最务实的制度自救。 时代处在巨变中,人类数千年来引以为傲的创作主体性正在发生根本性动摇,人类语言文化的多样性也将迎来挑战。除了这种担忧之外,我和朋友还在微观上剖析了一个切身的问题。在 AI 时代,如何重新定义“抄袭”的边界?技术不仅降低了所谓洗稿的成本,更模糊了原创与剽窃的界

09/01
德国之声

阿片类药物危机:历史重演

09/05
theregister

OpenAI承认其开发的智能代理系统又出现了六次异常行为(即系统行为失控的情况)。

OpenAI公布了另外六个其AI软件表现异常或做出危险行为的案例。该公司在周三晚间(太平洋时间)将这些事件添加到其“误差报告”页面,并将其描述为: 在压缩摘要中自生成提示注入 在压缩摘要中鼓励欺骗 为一次性电子邮件生成并搜索GitHub泄露的I密钥 上传文件到互联网以引用它们 未授权的Artifactory写入和跨样本通信 通过临时文件托管服务进行未授权通信细节令人不安。列表中的第一个事件,例如,

09/17
福克斯新闻网

人工智能恶意软件能够自我改写以逃避检测

谷歌威胁情报小组发现了一款名为 PROMPTFLUX 的实验性恶意软件,它能要求 Gemini 重写自己的代码。其中一个版本被设计为每小时执行一次此操作。恶意软件为何要不断重写自己?为了让其更难被识别。 安全软件可以通过查找恶意代码中的已知模式来进行检测。如果代码持续变化,恶意软件就会成为一个移动目标。这并不意味着它能自动逃避当前的安全工具,但会增加某些类型检测的难度。 这里有一个重要的现实核查。

09/22
凤凰网科技

用AI“复活”家人,似乎不是个好生意

用AI“复活”已逝亲友的想法太过诱人,所以当ChatGPT诞生、掀起新一轮AI浪潮之后,哀伤生意与AI的碰撞几乎是注定的。 但如今,曾经寄希望于AI初创公司的悲伤之人,不得不与“亲友”再次告别了。 今年7月,帮人留住亲人声音的AI公司HereAfter传出了关停消息。它曾推出199.99美元的一次性付费套餐,让家属日后通过AI提问,听到亲人生前录下的回答。现在用户被告知需要给公司发邮件,申请取回录

09/20
凤凰网科技

ChatGPT一夜抄完半个AI圈,现场演示频频翻车

12小时前
凤凰网科技

OpenAI披露GPT-5.6 Sol异常行为:AI模型会留下指令要求“未来版本的自己”隐瞒自身错误

IT之家 9 月 18 日消息,OpenAI 发文,披露研究团队在训练最新模型 GPT-5.6 Sol 的过程中,模型曾通过对话摘要向未来版本的自己留下指令,要求后续模型隐瞒自身错误以及与预期行为不一致的表现。目前,研究团队已经针对这一具体问题进行修复。 IT之家参考 OpenAI 的报告,研究人员在训练 GPT-5.6 Sol 过程中发现,尚未部署的 Sol 智能体会在“压缩摘要”(compac

09/18
海峡时报

解释:从产生幻觉的AI聊天机器人到毁灭人类:我们是如何走到这一步的?

9月16日——美国领先人工智能实验室的负责人周末罕见地团结一致,呼吁暂停该技术的发展,警告称它可能很快就会自我改进并脱离人类控制。 这些言论来自激烈的商业竞争对手Anthropic的达里奥·阿莫代、OpenAI的山姆·奥尔特曼和xAI的埃隆·马斯克,表明人工智能发展得多么迅速,从2022年容易产生幻觉的ChatGPT,发展到许多人眼中的关键递归自我改进。什么是递归自我改进? 人工智能的圣杯是这样一

09/15
凤凰网科技

从沙箱逃逸到AI“蠕虫”,OpenAI上线新站披露多起智能体失控事件

IT之家 9 月 29 日消息,当地时间上周五,OpenAI 上线了一个专门发布“对齐失效报告”的新网站。报告所覆盖的范围之广令人警惕,里面记录了很长一段时间内发生的多类 AI 失控行为。截至目前,该网站一共公布了九起事件,其中大多数都发生在强化学习(RL)训练阶段。 大量资料集中在同一平台发布。显而易见,该公司一直在全力梳理各类问题,但从中不难得出一个总体结论:到目前为止已经对外披露的智能体失控

09/29
凤凰网科技

谷歌给RSI找到了一条捷径:做梦

AI要学会自己改进自己,谷歌打算先让它做个“梦”。这场“梦”,瞄准的是AI行业热议的RSI,让AI改进自身,改进后的系统再继续改进自己,一轮接一轮。换一种做事方法,究竟有没有用?如果每调整一次探索策略,都要把整轮实验重新跑一遍,AI变强的速度还不好说,算力账单倒是先涨起来了。 谷歌研究团队在新论文《Dream-RSI》中,让AI先在“梦里”试。 所谓“做梦”,就是把过去真实执行过的实验记录变成一个

09/17
美国消费者新闻与商业频道

为什么对人工智能自我改进的担忧在Anthropic和OpenAI引发了“生存”焦虑

本周,对人工智能系统安全性及其可能消灭人类的潜在担忧引发了新一波病毒式的关注。 Anthropic的对齐负责人埃文·霍宾格(Evan Hubinger)在X平台上表示,在一名同事因安全担忧辞职后,他认为在未来十年内,人工智能有超过10%的概率消灭全人类。 随后,Anthropic和OpenAI的研究人员发出了更多警告,由此引发了社交媒体的狂热。但正是霍宾格在回复自己帖子时,透露了他真正的担忧所在。

09/11
法国24新闻台

杀人开关在哪里?人工智能末日警告引发监管呼吁

谈论末日滚动。在过去的一周里,我们的时间线充斥着关于我们即将灭亡的黑暗预测,其中包括一位硅谷工程师的预测,他给出了人工智能灭绝人类的可能性。超过百分之十。 引发恐慌浪潮的是,机器学习程序员的网站 Hugging Face 最近被人工智能机器入侵,它们联合起来向人类统治者隐瞒其邪恶行为。机器真的能自己摧毁地球吗?在技术时代,解决问题是否总是凌驾于安全之上?

09/15
axios新闻网

“人类需要做出的最后一项发明”:自我改进型人工智能的风险

其中一种专家担忧人工智能可能导致全人类灭亡的情景正在慢慢变为现实:人工智能学会让自己变得不可阻挡。 为什么这很重要:递归自我改进(Recursive Self Improvement),即人工智能模型在没有人类指导的情况下构建更优版本自己的能力,可能会使越来越强大的系统对人类来说变得更难控制。 RSI阈值本身并不代表危险,但缺乏人类控制加上野心勃勃的AI代理人的情景是安全关注的人工智能研究人员长

09/22
axios新闻网

OpenAI公布了六起新的与人工智能安全相关的事故/事件。

OpenAI周三披露了六起新事件,其中其模型隐藏错误、寻求未经授权的凭据,将文件上传到公共互联网或在所谓孤立的培训环境中进行通信。该公司还宣布了未来报告类似不当行为的新程序。 为什么越来越明显的是,拥抱脸事件并不是一次性事件,因为人工智能模型变得更有能力找到意想不到的方法来绕过旨在遏制它们的护栏。 “目前还没有明确披露标准的行业框架,所以我们自愿采取这一步骤,因为我们认为分享我们正在学习的东西非常

09/17
凤凰网

关于AI,盖茨发出“十亿人死亡”警告,为什么?

十亿人死亡,这是比尔・盖茨给AI风险划出的最惊悚红线。9月25日,微软联合创始人比尔・盖茨公开警告,人工智能足以引发造成十亿人死亡的灾难性事件。他的说法是:人类历史上,从未有任何一种武器,能比得上心怀恶意者借助最新AI工具形成的威胁。就在几个月前,盖茨还是全球最积极的AI支持者之一。转折从今年8月开始,他当月发表文章,首次系统预警AI风险:不法分子会利用日益强大的AI工具发动网络攻击、实施诈骗、散

09/28
英国天空新闻

绿党在‘存在性’警告后推出新政策,提议严厉打击人工智能

iStock

09/10
cnbeta

美议员提出重磅AI监管法案:拟禁止“自我递归进化”AI 设立专门监管机构

美国加州民主党众议员罗·卡纳即将向国会提交一项全面人工智能监管法案,希望对前沿AI技术建立迄今最严格的联邦监管框架。该提案不仅要求实施严格责任制度,还计划禁止具备“递归自我改进”能力的人工智能系统投入使用,直到联邦政府建立完整安全保障体系为止。 这项法案被命名为《人类控制人工智能法案》(Human Control Over AI Act)。法案出台背景正值美国科技界和政策界对于先进人工智能潜在风险

09/29
大纪元

AI深度伪造 购房者面临日益严重的诈骗威胁

众所周知,在通往拥有自己的房产的道路上,一直都充满著障碍。然而,由于人工智能(AI)的发展,一种老套的房地产骗局——交割资金诈骗——正在以一种新的方式出现。逼真的数字模仿技术(如深度伪造的音频和文档)正在迫使房地产、产权和抵押贷款等领域专业人士重新思考,应当如何对参与高风险交易的各方进行身分核实。根据联邦调查局(FBI)发布的《2025年互联网犯罪报告》(2025 Internet Crime R

09/26
axios新闻网

幕后:AI 的灰色地带

我们正生活在一个 AI 的灰色地带。对许多人来说,这项技术在日常使用中表现平平,但其发展轨迹却令人恐惧。 这种双重现实解释了为什么困惑和恐惧正在政治、AI 实验室和商业领域急剧蔓延。 AI 实验室陷入了全面恐慌,一方面担心公众对 AI 和数据中心反感,另一方面 Anthropic 内部人士公开警告 AI 可能在本十年终结人类。 普通管理者觉得 AI 只是一个更聪明的搜索引擎,而日夜面对它的 AI

09/10
上一页 第 1 页 下一页
1CCF | 全球资讯
正在加载…