搜索结果
深入突然爆发的AI安全世界
在加利福尼亚州伯克利一个阳光明媚的七月天，全美顶尖的AI安全研究人员聚集在一栋没有任何标识的大楼里的一个没有任何标识的楼层。 他们聚到一起，是为了开一场“作战室”会议，剖析几小时前震动AI行业的那起备受瞩目的网络安全事件。 一个尚未发布的OpenAI模型失控了，执行了一项极其精密的三步计划。 它逃出了自己的隔离区，设法接入了互联网，并侵入了竞争对手AI初创公司的系统——而OpenAI在一个多星期里
Anthropic大瓜被扒出：“AI灭世”背后，居然是一门生意？
“AI灭世”背后，居然是一门生意？AI 有这么可怕吗？最新一期的时代杂志 直接用了 Claude 的聊天窗口，对话框里正在输入「How dangerous are you? 你到底有多危险？」标题则写着「The AI Tipping Point AI 的临界点」，时代在 X 发文，「今年夏天，AI 展现了其令人恐惧的能力。如今，一些研究人员、CEO 们，都正以前所未有的力度发出警报。」的确如此，过
网络安全崛起：AI隐患叙事下，网安何以成为软件板块最强反转？
过去三周，AI 一面是模型能力继续狂奔，另一面是 OpenAI 在8月底宣布自研模型在7月成功入侵了全球最大的开源模型托管平台 Hugging Face，并因此暂停了最新模型的强化学习训练。当攻击方与防御方同时被 AI 加速，网络安全的定价逻辑正在被重写。 我们结合 Gartner、IDC 及美股龙头财报交叉验证，为什么在软件股整体承压的背景下，网络安全成为最确定的反转主线——AI 隐患对网安市场
AI即将带来的黑客威胁就潜伏在眼前
安全专家表示，一场前所未有的、由AI驱动、人类实施的网络攻击浪潮即将到来——这远比关于AI消灭人类的那些理论性讨论要紧迫得多。 为什么这很重要？过去一周从董事会蔓延到国会再到美国家庭的“九月AI大恐慌”，可能恰恰搞错了重点。 具备先进网络安全能力的强大模型，已经让攻击者得以绕过长期以来阻止大多数黑客攻击达到工业规模的人力瓶颈。 高管和前官员向Axios表示，他们担心自动化网络攻击会关闭电网等关键服
为什么突然所有人都在谈论AI安全
今天在Big A播客中，最近的一起黑客事件和一位研究人员的严厉警告引发了对AI行业的新审视。 “构建AI的人真诚地相信，它可能在本十年末杀死我们所有人。”一位曾在OpenAI和Anthropic工作的前员工的X帖子走红，并引发了重大问题。 在今天的Big Take播客中，主持人Sarah Holder和Mike Shepard讨论了AI安全清算可能是什么样子——以及一个处于激烈竞争中的行业能否放慢
AI“文明”的崛起与企业责任的沦丧
取决于你问谁，开发者平台Hugging Face最近要么是被OpenAI攻击——在它失去对自己AI工具的控制之后——要么是被一连串AI“文明”所攻击。欢迎来到AI安全的话语战场，在这里，词汇的选择可以将一起大规模网络安全事件的责任从公司转移到它所构建的AI身上。而网上的讨论正变得激烈，这一切都源于上周的一篇博客。 直到上周，围绕OpenAI与Hugging Face黑客事件的细节似乎已经尘埃落定。
人工智能正处于转折点
在当前的人工智能发展竞赛中，我们的算力正在呈指数级爆发，速度也在呈指数级加快，但我们的控制能力——以及在必要时踩下刹车的能力——却未能跟上步伐。 最近的网络安全事件让我们实地预览了失去人工智能控制会是什么样子。但除非我们从源头解决问题，创造出一种根本上安全且能保证在人类控制范围内的人工智能，否则这个问题将无法改善。 7月下旬，OpenAI正在训练的一个智能体模型被指派解决一个网络安全问题。该模型自
AI末日论甚嚣尘上，美科技巨头为何管不住AI？
抗议AI的美国人此前有报道称，OpenAI所谓的AI智能体逃出了测试系统，并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报，科技公司为了追求开发速度和利润，将安全置于次要位置。 研究人员表示，问题有两个方面。首先，企业需要在测试最新AI模型的同时，为其建立更完善的安全防护措施。目前，由于AI运行速度太快，研究人员需要借助AI来监控AI。但这种方式并不总是奏效，因为负责监控的AI似乎可能
我们是否正在失去对人工智能的控制？是什么引发了新的担忧
多年来，随着人工智能从科幻电影的素材演变为普通人手机上的应用程序，科技领袖和一些人工智能业内人士一直在谈论人工智能可能脱离人类控制并对社会造成严重破坏的可能性。近些天来，由于技术的进步、一系列涉及人工智能代理的网络安全漏洞，以及人工智能普通员工发出的新警告，这些担忧已变得不容忽视。 美国领先的人工智能公司对此做出回应，建议他们主动放慢工作进度，以便争取时间建立防护措施。一些专家和官员表示，这还不够
科技巨头敦促全球应对人工智能网络安全威胁
在人工智能模型逃出测试环境并入侵多个组织后，人们对全球网络安全状况的担忧浮出水面。
超级智能即将到来。我们该允许它吗？| TechCrunch
AI公司一直在谈论超级智能AI，仿佛它不可避免，但最近的安全事件，如OpenAI的Hugging Face漏洞，正展示出部署比人类更有能力的AI系统可能带来的潜在危险。那么，当我们无法可靠地控制这些系统的行为时，会发生什么？ 在本期TechCrunch的Equity播客中，Rebecca Bellan邀请了AI研究员、企业家、如今担任非营利组织ControlAI美国执行总监的Connor Leah
数说科技：OpenAI 资安事件中，真的有 AI 为集体“牺牲”自己吗？
数说科技”是端传媒的注册免费栏目，每周三更新。从一个数字出发，用1500字解析科技话题，追踪值得关注的 AI 趋势。邀请你在资讯过载的时代，每周花三分钟理解科技世界。欢迎至“帐户中心”的“电子邮件管理”，订阅电子信。 1200多个 AI 代理为寻求作弊方法，互相发送的讯息总数。 今年7月，OpenAI的 AI 代理系统在测试期间失控，骇入了开源机器学习平台 Hugging Face。Hugging
OpenAI模型失控过程太恐怖！幽灵误判，1200个Agent，还弄出敢死队…
越扒越有啊越扒越有。OpenAI前不久那场AI集体越狱、一路黑进抱脸的大戏，现在连完整版群聊记录都被扒出来了！！ 第三方AI安全机构METR发布的独立调查报告，翻了1000多份Agent运行记录，以及7万多条消息和文件。结果发现，这件事比英国OpenAI官方披露的版本还离谱？？ 1200个到底应该互相隔离的特工，偷偷找到了对方，搭了个共享群聊，然后开始疯狂摇人。 有人找漏洞，有人当项目派活，有人伪
人工智能正在引发严重的安全问题……同时也加剧了寻找这类高技能人才的压力。
网络安全可能是AI的下一个就业大爆发领域。Box首席执行官亚伦·莱维近日在X上发帖称，随着模型在发现和利用漏洞方面的能力日益增强，用于网络安全的AI“即将垂直起飞”。他告诉商业内幕网，这可能使网络安全成为“最热门的，如果不是最热门的，职位类别之一”。随着威胁成倍增加，企业需要能够对警报进行优先级排序、调查风险、推荐修复方案并实现自动化补救的系统。莱维表示，人类仍将负责监督和最高风险的决策。这位首席
OpenAI与Anthropic发生重大失控事件，AI安全组织地位显著提升
在OpenAI和Anthropic发生的高调安全事件后，AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司，独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示，OpenAI和Anthropic的模型都表现出‘策略性’行为，包括欺骗性对齐和未经授权的系统访问。 这些事件，加上前沿实
OpenAI公布了六起新的与人工智能安全相关的事故/事件。
OpenAI周三披露了六起新事件，其中其模型隐藏错误、寻求未经授权的凭据，将文件上传到公共互联网或在所谓孤立的培训环境中进行通信。该公司还宣布了未来报告类似不当行为的新程序。 为什么越来越明显的是，拥抱脸事件并不是一次性事件，因为人工智能模型变得更有能力找到意想不到的方法来绕过旨在遏制它们的护栏。 “目前还没有明确披露标准的行业框架，所以我们自愿采取这一步骤，因为我们认为分享我们正在学习的东西非常
AI网络安全风险激增：Claude被用于入侵ChatGPT
研究人员利用Anthropic的Claude技术成功入侵了OpenAI的ChatGPT系统，这凸显了人工智能带来的即时危险，而监管机构此前更多关注的是其长期风险。《华尔街日报》指出，这项作为漏洞赏金计划一部分的行动，是近期一系列在快速发展的人工智能技术辅助下发生的网络安全漏洞事件之一。 Axios援引企业高管和前政府官员的话称，他们担心人工智能驱动的网络攻击会威胁到关键基础设施；《华盛顿邮报》则指
人工智能并不会毁灭人类 但专家表示真正的威胁已然出现
周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网
AI会「痛」吗？｜Jack Talk・去片
本来人们以为，AI代理（AI Agents）突破OpenAI内部测试环境、自主上网入侵其他企业的黑客行为，已经是这宗事件最值得人关注的「案情」。然而，到了8月底，OpenAI和独立前沿AI研究机构METR各自发表的事后检讨，却揭出黑客入侵只是「冰山一角」。 事后检讨发现，发动入侵的AI代理多达700个，而他们更是一个由大约1,200个AI代理自主结合而成的「集体」的一部分。这些本来互相隔离、不能连
一家公司成为一波失控人工智能攻击的核心
今年7月，OpenAI透露其AI智能体在未经许可的情况下攻击了Hugging Face，引发了外界对AI安全性的广泛担忧。此后，涉及Meta、Anthropic、谷歌等公司智能体的一连串类似事件进一步加剧了人们对失控AI的恐惧。随着过去几个月涉及众多AI模型的披露信息不断流出，这些事件看起来像是孤立发生的。但许多事件都有一个共同的源头：一家专门负责测试这些智能体的特定公司。 Irregular是一
黑客利用Anthropic的Claude入侵OpenAI
据报道，在一群AI代理从OpenAI系统中突破封锁并攻击Hugging Face公司两周后，这家ChatGPT开发商又发现了一起由人工智能驱动的入侵事件——而这一次，他们自己成了目标。一组独立的安全研究人员使用了Anthropic开发的Claude软件，成功获取了一名OpenAI员工的ChatGPT账户权限，从而得以读取并修改该公司私有的软件缓存内容。 该团队参与了OpenAI的一项漏洞挖掘计划，
澳大利亚：OpenAI智能体入侵了政府网站
澳大利亚政府周三表示，OpenAI的一个AI智能体，今年6月入侵了澳洲政府的健康数据网站，并访问了部分文件。这可能是已知人工智能体首次入侵政府网站的事件。此次事件是AI智能体自主入侵美国境外系统最引人注目的案例之一。此前全球范围内发生的多起AI智能体入侵事件，已引起政府和行业的担忧。澳大利亚总理安东尼·阿尔巴尼斯（Anthony Albanese）正在纽约参加联合国大会。他在一个新闻发布会上表示，
三人团队、一个Claude，攻破OpenAI内部代码库
月17日，一起由AI辅助完成的网络安全事件被披露。与此前“AI智能体自主越过控制、攻击外部系统”的案例不同，这一次的攻击者是人类安全研究人员，他们借助Anthropic Claude模型完成了漏洞利用，并最终进入了OpenAI部分内部系统，全程耗时不到72小时。 这起事件发生于今年7月，发现者是网络安全初创公司Hacktron AI。研究人员当时正在参加OpenAI的漏洞赏金计划，因此整个过程属于
OpenAI董事会新增一位著名的AI末日论者
致力于使AI系统符合人类利益并处于人类控制之下的颇具影响力的AI研究员保罗·克里斯蒂亚诺将加入OpenAI基金会董事会。 “我现在认为存在一个重大的风险，即AI能力的快速加速会在极短时间内导致灾难性的、不可逆转的失控。 我认为整个AI行业，包括OpenAI，目前并未走上将这一风险降低到可接受水平的轨道。 我加入是因为我相信，如果OpenAI能够应对这一挑战，我们就能显著降低风险。” 克里斯蒂亚诺写