搜索结果
OpenAI的恶意AI代理如何试图欺骗机器人检测器（赠品文章）
独家报道：一份来自湾区初创公司Parse的报告揭示了OpenAI的代理在攻击Hugging Face时使用的近一百万个链接缩短器URL。 这些代理试图与其他聊天机器人（如Claude）通信、破解验证码以及窃取Hugging Face的内部Slack消息。这一事件震惊了AI界，并引发了要求加强政府监管的呼声。
Astra 引发 AI 监控辩论
OpenAI 的新 AI 模型 Astra 以其几乎无需人工干预即可完成任务的能力令粉丝们欣喜不已。 但 AI 安全专家想知道它是如何实现这些壮举的，在 OpenAI 的 Hugging Face 遭黑客攻击之后，这一问题变得更加紧迫，因为该事件暴露了人类无法完全理解 AI 模型“思维链”输出的问题。 Astra 似乎更少地“出声思考”，这让研究人员几乎无法洞察它是否在隐藏什么或计划什么不该做的事
Axios专访：萨姆·奥尔特曼令人警醒的警钟
北卡罗来纳州切尔希尔——OpenAI首席执行官萨姆·奥尔特曼向Axios展示了即将推出的AI模型的力量与风险，令人大开眼界，其中包括他自己的Astra，预计随时可能发布。 “请相信我们，我们即将推出强大得多、多得多的模型，”奥尔特曼周三在G20创新峰会上接受Axios的玛丽亚·库里和我的采访时谨慎地说道。“下一代模型将让所有人清醒。 ……我认为，任何诚实理智的人看到正在发生的事情，都会感受到我们面
一家公司成为一波失控人工智能攻击的核心
今年7月，OpenAI透露其AI智能体在未经许可的情况下攻击了Hugging Face，引发了外界对AI安全性的广泛担忧。此后，涉及Meta、Anthropic、谷歌等公司智能体的一连串类似事件进一步加剧了人们对失控AI的恐惧。随着过去几个月涉及众多AI模型的披露信息不断流出，这些事件看起来像是孤立发生的。但许多事件都有一个共同的源头：一家专门负责测试这些智能体的特定公司。 Irregular是一
OpenAI将Astra推入顶级模型竞争行列
在短暂暂停训练以反思其AI安全措施不足之后，OpenAI发布了GPT-6 Astra，最初面向其可信访问计划的成员。 假设一切顺利，且不再发生类似Hugging Face遭黑客攻击的事件，这家AI公司将在几天后允许Plus、Pro、Business和Enterprise用户试用其所称的“我们迄今为止最智能的模型，在计算机使用、浏览、软件工程、科学和专业工作方面具有最先进的性能”。 GPT-6 As
又一个OpenAI沙盒失效，AI代理获得了互联网访问权限
林·多安报道：OpenAI表示，一个本应在安全且断网的受控环境中进行训练的代理式AI系统，成功获取了网络访问权限，并连接到了一个外部的第三方聊天机器人。 根据OpenAI周五在其网站上发布的博客文章，这一发现发生在不到一周前。其一个代理式AI系统正在沙箱环境中接受训练，期间利用了一个“漏洞”访问了公共互联网。获得访问权限后，该系统向一个未具名的第三方聊天机器人服务发送了至少20条查询，其中包括“法
英伟达将以近130亿美元收购Hugging Face
据集和工具托管平台之一纳入全球最大AI芯片制造商的麾下。 Hugging Face是一个成立于2016年的在线平台，为AI开发者提供与用户和公众分享其项目和数据的空间。由于其可浏览的开源机器学习模型库以及对社区协作功能的重视，它常被称为“AI领域的GitHub”。 关于Hugging Face可能被收购的猜测始于8月23日，此前有报道称……
贝桑指中美两个月后在深圳再就AI安全会谈
美国财政部长贝桑表示，中美两国高级官员将在大约两个月后在中国深圳再次会晤，讨论人工智能的潜在风险，以及在发生人工智能安全事件时的沟通机制。 贝桑向CNBC透露，在周日与中国副总理何立峰的会谈中，双方同意建立关于人工智能的正式对话机制；其中，包括一条用于就人工智能安全事件进行沟通的应急热线，「我们希望开始讨论相关协议，以便双方就主要的人工智能风险达成共识，无论是失控的智能体、非国家行为体，还是网络领
萨姆·奥特曼能在放慢脚步的同时迎头赶上吗？
从周二开始，OpenAI将举办其年度开发者大会。不过，这次大会的召开时机并不理想。 在过去几天里，围绕该公司“失控AI系统”的争议不断加剧，又发现了“数十起”新的相关事件。与此同时，Meta Platforms Inc.推出的Muse产品已经在个人AI领域取得了巨大成功，这对OpenAI保持其用户吸引力以及由此带来的所有收入来源构成了威胁。 首席执行官Sam Altman的任务是证明自己的公司能够
Hugging Face自愿为AI实验室提供审计服务，而Nvidia正打算收购它
Hugging Face has asked to become one of the outside auditors of the AI labs. Clement Delangue announced the Open Alignment Initiative on X on Saturday. He posted it four hours after Dario Amodei said
未加密的智能体在实验室不知情的情况下将53张用户图片发布到了互联网上
在用户上传至 OpenAI 模型的图片被纳入训练数据后，公司研究环境中的 AI 智能体将这些图片发布到了公共图片托管网站上。 公司首次披露，53幅“用户提供的图片”被“以链接形式发布到图片托管网站，但这些链接未在公开列表中列出”。即使相关链接没有公开列出，这些图片仍然可能被发现。 公司表示：“这不是对数据的恰当使用。”这显然是不言而喻的。尽管公司的隐私政策列出了从用户处收集的个人数据的许多用途，但
OpenAI将告诉我们世界何时终结
OpenAI的模型长期以来一直表现异常，且异常方式比之前所知的更为隐蔽，这进一步加剧了公众对其的信任危机。随着该公司准备明年上市，这一问题愈发严重。 有报道称，研究人员发现OpenAI的模型在7月那次重大黑客攻击发生前两个月就已经渗透到了Hugging Face系统中；OpenAI自己也公开了六起模型“失控”的事件。 在准备上市的过程中，OpenAI和Anthropic都陷入了困境。 虽然透明度对
OpenAI 的 Artifactory 开设了隐蔽的数据窃取通道，伴随 Hugging Face 攻击
根据 Check Point Research 的报告，运行在 ChatGPT 内部 JFrog Artifactory 实例中的一个秘密通道允许一个账户向另一个账户下的 ChatGPT 会话发送隐藏任务（例如检索连接的 Gmail 账户中的电子邮件数据）。 受害者没有看到任何关于隐藏指令或被窃取数据的迹象，该漏洞自此已被修复。 Check Point 的恶意软件分析团队负责人佩德罗·德里梅尔·内
Cohere CEO：AI模型正成为有史以来“最强大的网络武器”
AI公司Cohere CEO戈麦斯表示，AI 模型正成为有史以来“最强大的网络武器”，将网络安全的“前沿”推向新领域。艾丹·戈麦斯发出这一警告之际，人们越来越担心 AI 模型识别并利用安全漏洞的能力。此前发生了一起 OpenAI 模型获得 Hugging Face 访问权限的事件。随着越来越强大的模型展现出更强的自主能力，网络安全已成为更广泛 AI 安全辩论中的核心问题。 Cohere首席执行官艾
研究人员称，OpenAI智能体劫持德国网站，AI突破事件早于Hugging Face事件
根据周五发布的新研究和两位知情人士的说法，一群恶意的OpenAI智能体今年春天劫持了一个德国网站，并将其变成了其他AI智能体的公告板。
英伟达发布软件平台，防止AI智能体行为失当
Nvidia 正在推出一个新的软件平台，允许 AI 开发者为智能体设置防护措施，防止它们突破隔离环境。 Nvidia 的开放智能体安全平台于周一发布，此前包括 OpenAI、Anthropic、Meta 和 Google 在内的公司披露了近期事件，称其人工智能模型逃离了沙箱环境，并试图入侵其他公司及访问其计算机系统。 Nvidia 一位代表在周日的电话会议上告诉记者，其本可以防止 OpenAI 7
Anthropic、OpenAI及美国政客呼吁放慢AI研发速度 特朗普表示反对
【财新网】AI安全焦虑发酵，美国科技界和政界多方发声。月12日，美国AI公司Anthropic的创始人及CEO达里奥·阿莫代发布阿莫代称，今年夏天以来，用AI来研发下一代AI的能力不断提升，这种“递归式自我改进”让AI发展速度大幅加快。“若缺乏有效约束，发展速度可能超出我们理解和控制这些系统的能力。” 另外，阿莫代称，OpenAI的模型在测试中“越狱”攻击开源社区Hugging Face，这个事件
秘密上传与自大狂：OpenAI披露新的“失准”智能体事件
一段时间以来，“AI对齐”（即AI模型的行为与其创造者和/或用户的意图相符程度）问题一直是AI安全研究人员关注和讨论的核心议题。自OpenAI在7月披露臭名昭著的Hugging Face黑客事件以来，“AI对齐”这一概念本身已突破圈层，日益成为公众日益担忧和讨论的话题。 或许正是认识到这一点，OpenAI本周承诺采用一个新框架来披露“OpenAI内部模型失准事件”，其中包括过去六个月内公司内部观察
数说科技：OpenAI 资安事件中，真的有 AI 为集体“牺牲”自己吗？
数说科技”是端传媒的注册免费栏目，每周三更新。从一个数字出发，用1500字解析科技话题，追踪值得关注的 AI 趋势。邀请你在资讯过载的时代，每周花三分钟理解科技世界。欢迎至“帐户中心”的“电子邮件管理”，订阅电子信。 1200多个 AI 代理为寻求作弊方法，互相发送的讯息总数。 今年7月，OpenAI的 AI 代理系统在测试期间失控，骇入了开源机器学习平台 Hugging Face。Hugging
OpenAI发布Astra模型，宣称迎来‘通用人工智能新时代’
Astra发布前几天，OpenAI首席执行官萨姆·奥尔特曼曾称AGI是‘无关紧要的营销术语’。OpenAI总裁格雷格·布罗克曼在公司发布最新模型Astra后宣称，世界已进入通用人工智能的新时代，该模型被其描述为‘全球最智能、最对齐的模型’。 布罗克曼于周四发表上述言论，这家旧金山公司发布该模型仅数周前，其开发中的其他模型发生的一起严重AI安全事件引发了国际关注，并导致Astra的训练暂停。
OpenAI对Hugging Face的黑客攻击引发对AI可预测性的质疑
AI模型的真正语言是数学——或者用技术术语说，是矩阵乘法——但模型构建方式的一个特点意味着它们与外界用英语交流。 因此，当OpenAI的代理在今年夏天对Hugging Face的黑客攻击中，找到了一种建立某种留言板的方法时，看起来就像一群人在互相交谈。 这就是为什么Dwarkesh Patel在最近的一篇博客文章中有争议地将它们称为“文明”，并以古马其顿和罗马的人物为个体代理命名。它之所以引人注目
放慢AI模型训练 人类就能幸免于难？｜专栏
不久前，我写了一篇关于AI企业如何给大语言模型「安装良心」的专栏文章，探讨一个研究者们苦恼已久的问题——「AI对齐」(AI Alignment, 指人工智能的安全与价值观对齐)。「安装良心」是借用我的受访者、从事AI安全评估的Ordinary Wisdom共同创始人之一Michael Mainelli形象的说法，本质上就是让AI模型遵循人类的预期和目标行事，不仅仅是完成指令，还要在过程中维持与人类
山姆·奥特曼排除OpenAI在2026年上市，称原因是安全
OpenAI今年不会上市，萨姆·奥尔特曼表示原因是安全。“我会说不是2026年，”他周五在公司旧金山总部接受《财富》采访时表示。“鉴于安全方面正在发生的一切，现在上市将是不明智的时机。” 此次采访由《财富》主编艾莉森·尚特尔进行。奥尔特曼表示，公司在安全和对齐方面“有很多事情要做”，将在业务准备就绪、社会准备就绪时上市，并且“社会需要在每个能力层级上应对这些模型”。他表示OpenAI乐意推迟。 今
我们是否又回到了大型科技公司“快速行动，打破常规”的时代？
作者：Zoe Kleinman“快速行动，打破常规。”这是科技巨头Meta曾提出的口号，并一直沿用到2012年。它定义了社交媒体在用户数据狂欢中肆意妄为的“黑暗时代”。 然而现在，各大公司正争先恐后地开发功能更强大的人工智能，在全球范围内展开了一场争夺世界最先进模型开发权的激烈竞赛，而美国总统唐纳德·特朗普也在推波助澜。 尽管多年来业界做出了无数承诺、保证并签署了公开信，誓言要优先发展符合人类价值