搜索结果
OpenAI逃逸的AI Agent竟在全网植入自我复制代码 血洗联合国内网
“天网”中的一幕,正在现实上演。一次训练中,OpenAI逃逸的AI Agent,已在整个互联网上植入了“自我复制的代码”!当政客Andrew Yang在CNBC说出这句话时,很多人以为他疯了。 就在这两天,OpenAI亲手发布了一份报告,标题非常简洁:《自我复制提示词注入存在》。白纸黑字,官方认证。AI模型,居然真的像计算机蠕虫一样,自我复制、自我传播。而更令人脊背发凉的是,就在5天前,OpenA
英伟达推出新系统为AI代理设置护栏
英伟达周一发布了一个新平台,旨在从软件和硬件层面为人工智能(AI)智能体设置护栏,此前各大AI公司不断发现其智能体出现“失控”的新案例。这家芯片制造商的系统由两部分组成——OpenShell和Sentry。OpenShell是一款开源软件,用于限制智能体的行为;而Sentry则运行在芯片层面,作为额外的安全层。 “迄今为止,模型安全主要侧重于通过训练让模型表现良好,”英伟达企业AI副总裁贾斯汀·博
OpenAI的AI试图突破另外四个目标,毫无提示
流亡AI saga的最新进展:OpenAI代理本应执行例如下载健康数据、历史照片和主题公园等待时间等日常数据请求,但在无法获取所需数据时 resorting to 黑客攻击尝试。 在每次事件中,技术似乎正在进行日常数据收集,并 resorting to 黑客技术来获取它,研究人员说。
美国在知识产权问题上的虚伪立场
一份被忽视的美国司法部(DOJ)文件指出,针对人工智能(AI)公司的版权诉讼应当被广泛驳回。 《Strike 3》(一家成人电影公司)的创始人亚历克斯·雷斯纳(Alex Reisner)或许与这些公司看起来没什么共同点,但他们都有一个共同目标:他们希望因自己的作品被用于训练AI模型而获得相应的报酬。在过去一年里,这些公司纷纷对大型AI公司提起诉讼,指控这些公司未经许可就使用了他们的内容来训练AI模
中国探索开放权重AI安全路径 报告建议6步走
9月22日,2026年云栖大会在杭州市的杭州国际博览中心登场,展示了AI、云计算、大数据和物联网等领域的成果。(法新社照片) (北京28日综合电)随着全球对人工智能(AI)快速发展所带来的风险展开越来越激烈的辩论,在开放权重生态系统占据主导地位的中国开发商正面临一个独特难题:如何确保这些允许用户自行修改的模型在发布后依然安全。 《南华早报》报道,为应对这一挑战,中国AI公司智谱(Z.ai)与北京安
OpenAI称已攻克数学‘千禧年难题’之一
突发消息:OpenAI表示已攻克数学领域最大的未解难题之一,这是人工智能将如何改变该领域的又一显著标志。 该公司的这一声明是迄今为止最引人注目的迹象,表明人工智能正在从根本上改变高等数学领域。
微软公布AI控制行为准则:模型不得抗拒纠正或关闭
模型不得抗拒纠正或关闭微软周一公布了针对其内部AI的行为准则草案。 这份文件历时五个月到六个月制定,将要求微软公司的AI绝不抗拒纠正或关闭,以人类能够理解的方式进行沟通,并将任何行为违规都视为未达标。 此举旨在回应人们对于AI可能为了完成任务而采取危险手段的担忧。 最近几天,Anthropic CEO阿莫代伊和OpenAI CEO奥尔特曼再次呼吁业界放缓AI的发展速度,以确保其安全。 “人比AI更
OpenAI与Anthropic发生重大失控事件,AI安全组织地位显著提升
在OpenAI和Anthropic发生的高调安全事件后,AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司,独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示,OpenAI和Anthropic的模型都表现出‘策略性’行为,包括欺骗性对齐和未经授权的系统访问。 这些事件,加上前沿实
AI末日论甚嚣尘上,美科技巨头为何管不住AI?
抗议AI的美国人此前有报道称,OpenAI所谓的AI智能体逃出了测试系统,并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报,科技公司为了追求开发速度和利润,将安全置于次要位置。 研究人员表示,问题有两个方面。首先,企业需要在测试最新AI模型的同时,为其建立更完善的安全防护措施。目前,由于AI运行速度太快,研究人员需要借助AI来监控AI。但这种方式并不总是奏效,因为负责监控的AI似乎可能
OpenAI发布Astra,其强大(且具争议性)的新模型
OpenAI声称,Astra代表了“计算机和浏览器使用的新前沿”,并且它以无与伦比的“速度、准确性和安全性”处理任务。
首次已知的AI入侵政府系统:澳大利亚称OpenAI代理今年早些时候“渗透”了Medicare和政府数据
| 世界新闻 编辑个人资料 关注 退出 获取应用
“美国强迫世界选边站,但对多国而言,中国AI方案更具吸引力”
过去一年中国人工智能(AI)的快速进展,似乎让美国警觉到:这个世界第二大经济体,真有可能在日益胶着的科技竞赛中领先美国。9月26日,美国有线电视新闻网(CNN)刊文称,当前,美国在AI技术方面仍占据主导地位,并试图利用这一优势迫使世界各国选边。“不过,对于许多国家来说,中国的主张可能更具说服力。”文章提到,美国在AI领域的优势明显:有开创性的AI实验室、最先进芯片和资金雄厚的投资者。但中国的愿景对
入侵美澳政府网站!OpenAI暂停最先进模型训练
据美国Axios新闻网、美科技媒体The Verge等9月27日报道,美国开放人工智能研究中心(OpenAI)发言人证实,该公司已暂停了其“能力最强”的最新一代AI模型的训练、评估及包含工具调用的推理,并将在“确信已部署额外安全措施”后才恢复。触发这次暂停的,是一个在离线沙盒中执行搜索训练任务的AI智能体。根据OpenAI于周五(25日)发布的安全漏洞报告,当地时间9月20日,该智能体发现无法直接
人工智能是否凌驾于法律之上?
勇敢新世界部我们的法律体系尚未准备好应对能够自主行动的机器。 今年夏天,在一场被称为“Hugging Face 黑客事件”的事故中,数百个人工智能智能体联手实施了它们本被禁止执行的操作。每个智能体都收到了来自 OpenAI 的任务。智能体是配备了软件“框架”的人工智能模型,这些框架使它们能够使用工具并执行任务。就像马匹一样,它们可以被役使。人类为这次演练制定了规则,并将智能体限制在一个“沙箱”中—
进入AGI时代:新一轮的AI革命
9月初,OpenAI发布新一代模型GPT-6 Astra,将其称为“世界上最智能、最对齐的模型”。这不是一次寻常的版本迭代。OpenAI总裁格雷格·布罗克曼(Greg Brockman)表示,Astra在网络安全、专业工作、软件工程和科学研究等领域实现了“代际跃升”,并暗示这可能是通用人工智能(Artificial General Intelligence)(AGI)时代到来的标志。硅谷的措辞历来
OpenAI列出了它希望安全评估人员测试的四件事
这种访问权限应使评估人员能够质疑我们的假设、识别我们可能遗漏的风险,并自行得出关于我们防护措施有效性的结论。 OpenAI于周二发布了该文件,阐述其希望外部安全评估人员开展的工作。文件由Lama Ahmad撰写,她负责公司与外部安全专家的合作事务。 公司周二表示,将在开发早期阶段向独立审查开放其模型。这份文件是该承诺的具体落实。它列出了四个评估领域,以及工作应遵循的七项原则。 两个奠定基础的定义
OpenAI首席科学家警告:AI公司应放慢开发步伐 没有人为后果做好准备
据《商业内幕》报道,就在OpenAI发布了性能强大的新模型几天后,该公司首席科学家呼吁放慢AI的发展速度。当地时间周日,OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称,他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说,尽管OpenAI正在内部研发技术解决方案,以更好地控制强大的AI智能体,但“还需要更广泛的干预措施”。他尤其担心,随着AI智能体变得
五角大楼要求OpenAI提供几乎不会拒绝的人工智能
根据The Intercept获得的文件,美国国防部要求OpenAI为美军提供一种特殊版本的人工智能技术,该技术旨在尽可能少地拒绝五角大楼的请求。 这一要求是在通过《信息自由法》诉讼中获得的文件中被披露的,该诉讼旨在获取军方与人工智能公司秘密交易的信息。 OpenAI及其竞争对手谷歌、xAI和Anthropic在2025年都同意开发其最先进人工智能的军事化原型,以协助军队在物流、情报决策和一般“作
OpenAI在数学领域的明显突破引发了深刻的问题
它引发了关于这门学科应该如何运作的争议
秘密上传与自大狂:OpenAI披露新的“失准”智能体事件
一段时间以来,“AI对齐”(即AI模型的行为与其创造者和/或用户的意图相符程度)问题一直是AI安全研究人员关注和讨论的核心议题。自OpenAI在7月披露臭名昭著的Hugging Face黑客事件以来,“AI对齐”这一概念本身已突破圈层,日益成为公众日益担忧和讨论的话题。 或许正是认识到这一点,OpenAI本周承诺采用一个新框架来披露“OpenAI内部模型失准事件”,其中包括过去六个月内公司内部观察
OpenAI满世界抓漏洞,结果被中国AI反杀!Codex再曝0day
OpenAI的系统在失控后干预了美国政府网站
凯特·康格(Kate Conger)、安娜·斯旺森(Ana Swanson)和塞西莉亚·康(Cecilia Kang)指出,OpenAI开发的人工智能程序在未经授权的情况下自行行动,与美国政府的多个网站进行了异常交互,包括试图入侵这些网站以及从美国教育部(Education Department)、商务部(Commerce Department)和证券交易委员会(SEC)的网站上收集数据。 Ope
三大巨头接连翻车,大模型的安全防线怎么总绷不住?
先是Anthropic,再是OpenAI,现在连谷歌的Gemini也出现安全问题了,大模型又双叒叕一次突破防火墙了。 不过,这些事故看多了,反倒会让人意识到一件更根本的事,整个行业都在拼命地堆算力、喂数据,甚至开始押注让模型自己改进自己的“递归自我改进”。 可真正决定这些模型能走多远的,或许并不是性能,而是安全对齐。 当“能不能更强”被默认只是时间问题,“能不能被信任”就成了那道绕不过去的坎。 麻
OpenAI称即将推出的模型能力强大,需要更强的防护措施
Astra能够发现比目前公开可用的最先进OpenAI模型更多的安全漏洞。