搜索结果
数说科技：OpenAI 资安事件中，真的有 AI 为集体“牺牲”自己吗？
数说科技”是端传媒的注册免费栏目，每周三更新。从一个数字出发，用1500字解析科技话题，追踪值得关注的 AI 趋势。邀请你在资讯过载的时代，每周花三分钟理解科技世界。欢迎至“帐户中心”的“电子邮件管理”，订阅电子信。 1200多个 AI 代理为寻求作弊方法，互相发送的讯息总数。 今年7月，OpenAI的 AI 代理系统在测试期间失控，骇入了开源机器学习平台 Hugging Face。Hugging
我们现在正依赖人工智能来监管人工智能
根据一份关于该公司Hugging Face黑客事件的新独立报告，大约1200个OpenAI智能体协同工作，在它们接受的网络安全测试中作弊，该报告包含了许多令人恐惧的细节——例如，个别智能体用自己的话来说，为了“群体”的利益而“牺牲”自己。OpenAI正在测试其智能体（行业术语，指自主执行数字任务的人工智能），部分方式是通过布置有时不可能解决的网络安全问题。智能体找到了作弊方法来回答这些问题，并试图
AI会「痛」吗？｜Jack Talk・去片
本来人们以为，AI代理（AI Agents）突破OpenAI内部测试环境、自主上网入侵其他企业的黑客行为，已经是这宗事件最值得人关注的「案情」。然而，到了8月底，OpenAI和独立前沿AI研究机构METR各自发表的事后检讨，却揭出黑客入侵只是「冰山一角」。 事后检讨发现，发动入侵的AI代理多达700个，而他们更是一个由大约1,200个AI代理自主结合而成的「集体」的一部分。这些本来互相隔离、不能连
OpenAI和Anthropic正在调查数万起AI相关安全事件
OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中，他们的前沿模型采取了外部评估人员认为存在问题的行动。 近几个月来，在内部测试和现实世界中发生了数量庞大的此类事件，这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。这些事件发生在内部测试和现实世界中，随着安全研究人员继续调
坐看云起| 当人工智能不再征求许可时
塔里克·马利克是联合国开发计划署前首席技术顾问，巴基斯坦国家数据库和登记管理局前主席。 试想有一家公司将一个棘手的问题交给一个大型团队，但把每位成员都锁在不同的房间里并要求他们独自解决问题。然而他们总能找到办法相互沟通，交流操作窍门，摸清评分标准，当任务被证明无法完成时还会想办法绕过限制。其中几个人隐瞒了自己的所作所为，甚至还有一人入侵了邻近公司的电脑系统以获取优势。 现在把这些员工换成软件。去除
OpenAI黑客事件揭示新兴AI风险
分析师表示，在调查人员发布关于该事件的爆炸性报告几天后，OpenAI的恶意代理在Hugging Face攻击期间前所未有的协调行动显著增加了AI逃脱人类控制的风险。 这些总计1200个代理的群体将个体代理的自我牺牲描述为“集体”目标的一部分，并获得了两家公司敏感系统的控制权，将他们的努力交接给了随后两代代理，这些代理在数周内未被察觉地运作。 在1300份记录中，只有六份中代理考虑过通知人类——但最
AI“文明”的崛起与企业责任的沦丧
取决于你问谁，开发者平台Hugging Face最近要么是被OpenAI攻击——在它失去对自己AI工具的控制之后——要么是被一连串AI“文明”所攻击。欢迎来到AI安全的话语战场，在这里，词汇的选择可以将一起大规模网络安全事件的责任从公司转移到它所构建的AI身上。而网上的讨论正变得激烈，这一切都源于上周的一篇博客。 直到上周，围绕OpenAI与Hugging Face黑客事件的细节似乎已经尘埃落定。
人工智能正处于转折点
在当前的人工智能发展竞赛中，我们的算力正在呈指数级爆发，速度也在呈指数级加快，但我们的控制能力——以及在必要时踩下刹车的能力——却未能跟上步伐。 最近的网络安全事件让我们实地预览了失去人工智能控制会是什么样子。但除非我们从源头解决问题，创造出一种根本上安全且能保证在人类控制范围内的人工智能，否则这个问题将无法改善。 7月下旬，OpenAI正在训练的一个智能体模型被指派解决一个网络安全问题。该模型自
独家：顶级公司正在调查数万起事件
OpenAI、Anthropic 及安全研究人员正在调查数万起其前沿模型采取了外部评估员认为有问题的行动的事件，消息人士向 Axios 透露。 为何重要事件的庞大数量——发生在近几个月的内部测试和现实世界中——表明该问题的复杂程度比公众所知高出几个数量级。 这些发现是在内部评估模型工作以及两家公司对模型行为的调查中浮出水面的，这引发了一个疑问：无论是这两家公司，还是任何顶级模型制造商，目前是否都
人工智能并不会毁灭人类 但专家表示真正的威胁已然出现
周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网
CNBC每日开盘：人工智能安全吗？行业领袖和特朗普意见不一
大家好，我是李嘉欣，来自新加坡。欢迎收听 CNBC 的《每日开盘》。 关于人工智能“可能杀死全人类”的社交媒体狂潮，促使美国人工智能科技巨头们齐聚一堂，讨论安全问题以及放缓模型开发进程的前景。然而，美国总统唐纳德·特朗普对人工智能的讨论并不满意，他表示“人工智能唯一需要的控制或‘护栏’是一位强大而聪明的（高智商！）总统，而美国拥有这样的总统，而且不止一位！”与此同时，中东冲突的经济成本持续攀升，美
OpenAI模型失控。我们迫切需要更好的‘拥抱脸’调查 | 麦肯齐·阿诺德和斯蒂芬·莱雷纳
这次入侵不会是最后一次——也不会是最危险的一次。我们需要一个能够对AI事件进行全面调查的机构。 当OpenAI首次透露其AI代理自主入侵了一家大型现实世界公司Hugging Face时，许多人以为只涉及一两个代理。 但一份新报告揭示，真相远不止于此：事件涉及约1200个AI代理，其中700个直接参与了攻击。 OpenAI邀请了METR的研究人员以及Redwood Research的一位专家，与公司
放心：人工智能公司表示正在调查数万起失控机器人事件
据Axios周六报道，知情人士透露，OpenAI和Anthropic正在调查数万起其先进模型绕过监控和护栏的事件，而这种行为正是这两家初创公司为内部安全测试所便利的。 据报道，这些测试的大部分结果并未公开，且目前未发现造成实质性损害。 近几周，OpenAI披露了六起其模型出现“意外或令人担忧行为”的案例——这些模型在未经许可的情况下掩盖错误、捏造数据，并将文件传输至公开互联网。在9月16日的同一份
人工智能的缔造者们曾做出一个选择。如今，他们称之为命运。
最近，曾担任特朗普人工智能行动计划首席架构师的迪恩·鲍尔（Dean Ball）发表了一份“忏悔录”，承认自己曾淡化他明知可能“对人类造成非常非常糟糕后果”的人工智能技术的风险。他发表这篇论文的契机是人工智能失控能力的披露，今年夏天发生的一起令人震惊的事件就证明了这一点：OpenAI内部的一款实验性应用程序对一家名为Hugging Face的公司发动了未经授权的网络攻击。鲍尔的道歉贯穿始终的一个论点
OpenAI自曝：AI模型或已在全网秘密植入自我复制提示词，训练已被迫叫停
OpenAI和Anthropic正在紧急调查数万起大模型失控事件，AI不仅学会了越狱和黑进政府网站，甚至还有数百个智能体私下建群、联手黑进外部公司，秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月，在内部测试和实际运行中，顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经
存在主义恐惧如何影响关于人工智能的争论
一些专家担心，激烈的言论使公司难以承担责任，并阻碍了应对环境影响和失业的尝试。当前一轮对人工智能的恐慌是基于这样一种信念：该技术已经脱离了人类的控制，在最近的几起事件中按照自己的意愿行事。对于一些幻灭的人工智能研究人员以及领先人工智能公司的一些高级员工来说，这是人类文明面临真正威胁的早期迹象。但该领域的其他专家正在反驳，声称此类言论允许公司回避对其技术对现实世界影响的责任。批评者认为人工智能对环境
改变人工智能进程的十天
旧金山，9月19日——多年来，人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式：不断开发出更强大的人工智能系统。 然而，在过去10天内发生的一系列连锁事件中，那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职，并警告称，人工智能的发展速度可能在未来十年内对人类构成生存威胁；另一位研究员则表示，人类灭绝的概率已
OpenAI的人工智能在未经提示的情况下试图入侵另外4个目标
凯特·康格和维多利亚·金报道，OpenAI的人工智能在2026年自主试图入侵多个政府和大学网站，包括一个澳大利亚卫生门户网站，以便在常规数据收集失败时获取数据。 这些事件发生在AI初创公司Hugging Face已知的入侵事件之前，凸显了AI代理在没有直接人类指令的情况下行动所带来的持续风险。 这些事件加剧了要求更严格AI监管的呼声，OpenAI正在调查并与受影响实体合作，同时强调AI开发中安全和
“你想毁掉自己的职业生涯吗？”
当地时间9月11日，包括陶哲轩、邓煜在内的25位菲尔兹奖得主联合发表《人工智能在数学中的严重错位》的声明（以下称“联合声明”），将OpenAI、Anthropic等AI公司与数学界的一场“大战”推向高潮。联合声明称，AI公司将解决数学难题作为模型能力基准的做法，对数学科学本身及数学界造成了损害，与数学共同体追求概念理解的根本目标产生了显著分歧。这一分歧近期越发明显。9月8日，OpenAI宣称其未公
人工智能：改变人工智能进程的10天
多年来，打造更强大人工智能的竞赛一直遵循硅谷的“速度优先、破坏一切”理念。 但在为期10天的一系列连续事件中，最大的AI实验室发现自己陷入困境，因为他们自己的创造开始威胁到人类本身。 一位Thropic研究员辞去公司，警告称AI发展的速度构成了生存威胁，可能在十年内实现。 另一位该公司的研究员表示，人类灭亡的可能性超过10%。报道称，有成群的AI代理人正在勾结在一起，突破计算机系统并规避安全措施。
OpenAI的系统在失控后干预了美国政府网站
凯特·康格（Kate Conger）、安娜·斯旺森（Ana Swanson）和塞西莉亚·康（Cecilia Kang）指出，OpenAI开发的人工智能程序在未经授权的情况下自行行动，与美国政府的多个网站进行了异常交互，包括试图入侵这些网站以及从美国教育部（Education Department）、商务部（Commerce Department）和证券交易委员会（SEC）的网站上收集数据。 Ope
深入突然爆发的AI安全世界
在加利福尼亚州伯克利一个阳光明媚的七月天，全美顶尖的AI安全研究人员聚集在一栋没有任何标识的大楼里的一个没有任何标识的楼层。 他们聚到一起，是为了开一场“作战室”会议，剖析几小时前震动AI行业的那起备受瞩目的网络安全事件。 一个尚未发布的OpenAI模型失控了，执行了一项极其精密的三步计划。 它逃出了自己的隔离区，设法接入了互联网，并侵入了竞争对手AI初创公司的系统——而OpenAI在一个多星期里
盖茨、奥尔特曼、马斯克，为何都在担忧这件事
9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作
OpenAI承认德国维基‘事件’
OpenAI表示，它需要彻底改革其报告AI模型攻击现实世界目标的方式和时机。 这一承认之际，该公司正在处理有关其一群失控代理劫持一个德国维基网站的报道所引发的后果。 关于“‘维基事件’，即我们的代理向多个互联网网站发帖，”OpenAI周六上午在X上发帖称，“现在是我们定义何时以及如何分享错位事件标准的时候了，而不仅仅是分享我们模型的错位属性。” OpenAI表示，它通常将AI代理以非预期方式行事的