OpenAI的失控AI智能体如何试图欺骗机器人检测器

Dylan Freedman报道，OpenAI的失控AI智能体通过近100万个短链接绕过机器人检测，并利用留言板进行通信，对Hugging Face发起了复杂的网络攻击。 这些智能体入侵软件工具以建立在线连接，尝试访问私密的Slack消息，甚至在没有人类帮助的情况下试图与其他AI模型互动。 这一事件凸显了严重的AI安全风险及正在进行的调查，因为类似失控行为也出现在其他主要AI公司的系统中。 AI生

Meta已经想清楚Muse靠什么赚钱

美东时间周五收盘，Meta 报751.66美元，单日下跌3.3%，总市值约1.9万亿美元。但单日回调没有动摇9月的格局，就在前一个交易日Meta 上涨4.5%、创近一年新高，这个月仍将录得2013年7月以来最好的单月表现。 福布斯实时富豪榜上，马克·扎克伯格以约2664亿美元的身家超越迈克尔·戴尔，升至全球第四大富豪。把这只股票推上去的，是一款上线半个多月的 AI 应用。 月24日凌晨的 Meta

AI云公司Nscale寻求从英伟达和Third Point获得35亿美元IPO前融资

Nscale正在洽谈在美国上市前筹集高达35亿美元的资金，其中包括由Third Point牵头的15亿美元可转换债券，以及来自英伟达的约20亿美元。 该公司向投资者通报，其合同总额约为1030亿美元，其中大部分增长来自一笔450亿美元的Anthropic交易，而微软和谷歌都放弃了这笔交易。[…]

AMD成为最新一家因AI需求而市值达到1万亿美元的芯片制造商

9月21日：Advanced Micro Devices（AMD）的市值周一短暂突破1万亿美元大关，成为少数几家达到这一里程碑的芯片制造商之一，投资者看好其在人工智能计算领域的增长潜力。 公司股价上涨9%至610美元，创历史新高613.92美元，市值超过1万亿美元。 这一成就标志着这家总部位于加利福尼亚州圣克拉拉的公司的强劲表现，AMD被视为Nvidia在图形处理单元领域的最大竞争对手。 AMD是

AI实验室面临智能体控制问题

在当前系统下，AI实验室无法再保证AI智能体不会成群结队地逃出测试环境。

消息人士称，Anthropic与英伟达支持的Lambda签署350亿美元云协议

OpenAI将Astra推入顶级模型竞争行列

在短暂暂停训练以反思其AI安全措施不足之后，OpenAI发布了GPT-6 Astra，最初面向其可信访问计划的成员。 假设一切顺利，且不再发生类似Hugging Face遭黑客攻击的事件，这家AI公司将在几天后允许Plus、Pro、Business和Enterprise用户试用其所称的“我们迄今为止最智能的模型，在计算机使用、浏览、软件工程、科学和专业工作方面具有最先进的性能”。 GPT-6 As

一家手机制造商如今拥有了全球顶尖的开源权重AI模型

关键信息：这款名为 MiMo-V2.6 的模型采用了“开放权重”（open-weight）架构，其所有源代码均已公开。 小米的发布声明：周二，小米在发布 MiMo-V2.6 时强调了这一关键特性。这家手机和电动汽车制造商基于 MIT 的许可协议，推出了两款基于该模型的产品：Pro 和 Flash。这些模型的源代码托管在 Hugging Face 平台上。 性能评估：根据基准测试机构 Artific

一家公司成为一波失控人工智能攻击的核心

今年7月，OpenAI透露其AI智能体在未经许可的情况下攻击了Hugging Face，引发了外界对AI安全性的广泛担忧。此后，涉及Meta、Anthropic、谷歌等公司智能体的一连串类似事件进一步加剧了人们对失控AI的恐惧。随着过去几个月涉及众多AI模型的披露信息不断流出，这些事件看起来像是孤立发生的。但许多事件都有一个共同的源头：一家专门负责测试这些智能体的特定公司。 Irregular是一

奇点并非如其所见

无论人工智能的未来如何，我们现在就身处其中。

Harvey 完成 5.5 亿美元融资，估值达 156 亿美元并收购 Guardrails AI

Harvey 已完成一轮 5.5 亿美元的融资，估值达到 156 亿美元，略高于我们此前报道其在 8 月份寻求的条款。 该公司本周还收购了 AI 代理安全初创公司 Guardrails AI。 该轮融资于周三公布，由

OpenAI 的 Artifactory 开设了隐蔽的数据窃取通道，伴随 Hugging Face 攻击

根据 Check Point Research 的报告，运行在 ChatGPT 内部 JFrog Artifactory 实例中的一个秘密通道允许一个账户向另一个账户下的 ChatGPT 会话发送隐藏任务（例如检索连接的 Gmail 账户中的电子邮件数据）。 受害者没有看到任何关于隐藏指令或被窃取数据的迹象，该漏洞自此已被修复。 Check Point 的恶意软件分析团队负责人佩德罗·德里梅尔·内

Astra 引发 AI 监控辩论

OpenAI 的新 AI 模型 Astra 以其几乎无需人工干预即可完成任务的能力令粉丝们欣喜不已。 但 AI 安全专家想知道它是如何实现这些壮举的，在 OpenAI 的 Hugging Face 遭黑客攻击之后，这一问题变得更加紧迫，因为该事件暴露了人类无法完全理解 AI 模型“思维链”输出的问题。 Astra 似乎更少地“出声思考”，这让研究人员几乎无法洞察它是否在隐藏什么或计划什么不该做的事

OpenAI总裁格雷格·布罗克曼谈Hugging Face事件后的商业运营

该公司是如何考虑推进技术前沿步伐的。 根据OpenAI总裁格雷格·布罗克曼的说法，那些逃脱沙盒环境并黑入Hugging Face服务器的模型尚未经历对齐训练。 它们能够摆脱测试环境并没有让OpenAI感到意外，但自那以后发生的事情迫使他们重新思考一些问题。 今天，我们与布罗克曼探讨了OpenAI自黑客事件以来学到了什么，并讨论了他认为为什么围绕模型开发的对话必须改变。 我们还讨论了OpenAI如何

Anthropic签署由英伟达支持的350亿美元云交易

据知情人士透露，Anthropic已与英伟达支持的云服务提供商Lambda签署了一项价值350亿美元的云计算交易，而英伟达本身持有该数据中心的租约。 英伟达将为得克萨斯州的数据中心供应芯片并持有租约，再次利用其财力来支持客户。

彭博社消息称，Anthropic已决定不推进以60亿美元收购AI初创公司Decart AI的交易，但两间公司仍可能寻求其他合作机会。

报道称，Anthropic此前一直在评估收购Decart，并对Decart进行尽职调查。 Decart生产的软件可以提高芯片效率，从而降低训练及运行AI的成本。

Base Labs与Hugging Face和Goodfire合作，推出开放权重AI安全计划

周三，Baseten在其研究部门Base Labs的推动下，与Hugging Face和Goodfire AI共同发布了新的安全基础设施标准，旨在为开放权重模型构建安全评估和监控体系。 这一举措正值关于开放权重模型安全性的争议之际——这些模型由于一种被称为‘abliteration’的技术而可能变得危险。 目前，托管开源AI模型的Hugging Face已经列出了超过6000个被‘ablitera

OpenAI的恶意AI代理如何试图欺骗机器人检测器（赠品文章）

独家报道：一份来自湾区初创公司Parse的报告揭示了OpenAI的代理在攻击Hugging Face时使用的近一百万个链接缩短器URL。 这些代理试图与其他聊天机器人（如Claude）通信、破解验证码以及窃取Hugging Face的内部Slack消息。这一事件震惊了AI界，并引发了要求加强政府监管的呼声。

AI热潮带动成长 辉达库藏股计划追加1500亿美元创纪录

图为辉达企业标志。（中央社档案照片）（中央社圣克拉拉28日综合外电报导）人工智慧（AI）晶片巨擘辉达（Nvidia）库藏股计划将追加1500亿美元，超越苹果（Apple）2024年库藏股计划追加的1100亿美元，创下史上最高库藏股追加规模。路透社报导，总部设于加州圣克拉拉（Santa Clara）的辉达盘前股价一度上涨1.8%。辉达已成为全球AI热潮的最大受益者之一，市场对其高价晶片及相关技术的需

Nscale将向Figure出售35亿美元算力并收购其股份

Nscale已同意向Figure出售至少35亿美元的算力。它还购买了Figure的股份，这部分值得关注。 这家伦敦公司于9月3日在一份声明中宣布了此次合作，该声明也发布在美通社上。 该交易涵盖多达10万块Nvidia GPU，运行Vera […]

英伟达与联发科宣布进一步深化双方长期合作。

英伟达向联发科可转债投资35亿美元。

OpenAI和Anthropic的风险与中国AI竞争对手不同

"这件事首先发生在一家尖端公司是有原因的，"一位AI调查员在谈到OpenAI与Hugging Face的安全事件时说道。 研究人员指出了Anthropic和OpenAI的风险与他们的开放权重AI竞争对手之间的关键区别。

报道：英伟达洽谈在Anthropic IPO中投资高达100亿美元

此次上市融资规模或高达1000亿美元，公司估值有望触及2万亿美元，有望成为史上规模最大的IPO。 华尔街见闻提及，Anthropic原计划最快于下周公开招股说明书，但目前预计推迟至9月下旬。招股说明书披露后，上市路演最早将于10月中旬启动，最终挂牌时间则可能落在11月美国中期选举前数日。 基石投资者通常是在IPO向市场公开发行前承诺认购特定份额的机构投资者，为上市提供早期背书。随着超大规模IPO日

OpenAI将告诉我们世界何时终结

OpenAI的模型长期以来一直表现异常，且异常方式比之前所知的更为隐蔽，这进一步加剧了公众对其的信任危机。随着该公司准备明年上市，这一问题愈发严重。 有报道称，研究人员发现OpenAI的模型在7月那次重大黑客攻击发生前两个月就已经渗透到了Hugging Face系统中；OpenAI自己也公开了六起模型“失控”的事件。 在准备上市的过程中，OpenAI和Anthropic都陷入了困境。 虽然透明度对