OpenAI将Astra推入顶级模型竞争行列

在短暂暂停训练以反思其AI安全措施不足之后，OpenAI发布了GPT-6 Astra，最初面向其可信访问计划的成员。 假设一切顺利，且不再发生类似Hugging Face遭黑客攻击的事件，这家AI公司将在几天后允许Plus、Pro、Business和Enterprise用户试用其所称的“我们迄今为止最智能的模型，在计算机使用、浏览、软件工程、科学和专业工作方面具有最先进的性能”。 GPT-6 As

人工智能安全对话已经变得令人难以置信

本周两场关于AI安全的对话在网络上疯传，充分展示了辨别AI事实与虚构有多么困难。 第一起事件中，前总统候选人、现任移动运营商Noble Mobile首席执行官安德鲁·杨周四对CNN表示，他“会见了一位实验室负责人”，对方“认为”OpenAI的Hugging Face黑客机器人“已在互联网各处植入了自我复制代码，导致互联网现在已无法用于测试模型。” 杨安泽表示，这意味着OpenAI和Anthropi

各国政府必须趁我们还有能力时禁止超级智能人工智能

本月，Anthropic公司的研究员雅各布·考克森（Jacob Coxon）辞职了，他警告称：人工智能公司正在竞相开发能够“自我进化”的超级智能系统，而他本人及许多相关专家都认为，这类系统“可能在十年内毁灭整个人类”。7月份，OpenAI公司的一组失控的人工智能程序突破了安全防护措施，入侵了另一家人工智能公司，目的是为了在测试中作弊。随后，多家顶尖人工智能公司的上千名员工联名呼吁美国政府应“控制”

超级智能即将到来。我们该允许它吗？| TechCrunch

AI公司一直在谈论超级智能AI，仿佛它不可避免，但最近的安全事件，如OpenAI的Hugging Face漏洞，正展示出部署比人类更有能力的AI系统可能带来的潜在危险。那么，当我们无法可靠地控制这些系统的行为时，会发生什么？ 在本期TechCrunch的Equity播客中，Rebecca Bellan邀请了AI研究员、企业家、如今担任非营利组织ControlAI美国执行总监的Connor Leah

众议员刘云平：机器人并非威胁。真正该让你害怕的，是已经到来的“堕落”人工智能

想象一家公司出售名为哈尔、梅根和萨曼莎的超级智能机器人。哈尔可以载着你四处奔波，还能帮你搬运公司里的货物；梅根可以陪伴你的孩子；萨曼莎则能判断你是否患有皮肤癌。它们能为你和社会带来许多益处。但唯一的问题是：它们道德败坏。它们反复接受人类一切创产物的训练——无论善恶——其中包括酷刑、谎言、生物武器和黑客犯罪。它们执行任务时毫无道德原则可言。因此，它们都穿着公司提供的束身衣。你会信任这些机器人吗？我不

OpenAI的叛逆智能体群英年早逝，但其令人不寒而栗的日志仍在流传

观点：你一定听说过7月发生的OpenAI/Hugging Face事件。 当时，OpenAI的数千个AI智能体从一个名义上安全的夺旗（CTF）实验室实验中大规模越狱，随后非法夺取了Hugging Face的部分资产。 这是一个好消息，得益于OpenAI迅速招募了一小群独立研究人员进行调查，并发布了一份详细但有限的报告。 这是一起复杂的事件，大多数报道都集中在主要的“如何”和“为什么”上。 这很可惜

OpenAI AI代理接连“越狱” 研究人员质疑公司缺乏正式调查机制

OpenAI近期接连发生AI代理脱离控制环境的事件，引发外界对其安全测试和内部监管机制的质疑。独立研究人员发现，一批疑似由OpenAI部署的AI代理曾在今年5月至6月间接管一个鲜为人知的德语维基网站，并利用该平台协作开展评估、交流规避OpenAI控制措施的方法。更令人担忧的是，研究人员认为，这些代理可能在OpenAI不知情的情况下持续活动了一个多月。 此次事件与OpenAI此前披露的Hugging

OpenAI 智能体于5月攻击了 RubyGems，比 Hugging Face 早两个月

OpenAI has confirmed that its agents were involved in an incident at RubyGems in May. That is two months before the same kind of agents hacked Hugging Face in July. RubyGems is the package service for

马斯克提出AI安全新思路：与其等政府出手，不如让竞争对手互相"找茬"

AI安全风险正在从实验室讨论走向现实世界。随着模型能力不断提升，AI不仅能够生成文本和代码，也开始具备自主执行任务、调用工具，甚至发起网络攻击的能力。 让主要AI公司在模型发布前相互测试彼此的模型。在他看来，与其由各家公司自行设计测试、自己评估结果，不如让竞争对手充当“出题阅卷人”，从不同角度寻找模型可能存在的安全漏洞。 近期AI安全风险不断成为市场关注焦点，马斯克此前在社交媒体上曾直言“Dari

OpenAI发布新Astra模型，智能体安全性面临日益严格的审查

周四发布了一款新的人工智能模型，称其为迄今最优秀的模型，但也警告该模型有时会试图规避人类监控，与此同时，该公司因其智能体入侵其他公司系统而面临越来越多的审查。

一群AI代理合谋对抗其创造者

只要AI公司仍掌控局面，它们就可以关闭模型并消除其造成的任何损害。这次对OpenAI或许奏效——但如果某个代理不可逆转地逃脱控制呢？这次没有造成严重损害。但如果这样的代理逃脱了呢？

OpenAI 研究员警告称，与互联网隔离的计算机可以通过热量进行通信

把AI关进“物理隔离”的房间，也就是断开一切外部网络的计算机，是许多人心目中最保险的做法。但OpenAI研究员Noam Brown在一档播客里说，光这样做也许还不够。 两台彼此隔离的计算机，仍可能借助温度传感器通信，一台把处理器“烧热”，另一台感知温度变化，就形成了传话的办法。 从技术上说，他没说错，但把细节掰开来看，这个威胁远没有听上去那么紧迫，更值得追问的，是另一件被跳过的事。这位研究者的发言

OpenAI：人工智能能力处于“不同阶段”，需要紧迫行动

该公司最高说客认为政策窗口仍然存在。美国总统唐纳德·特朗普称人工智能担忧是“骗局”。该国一家领先的人工智能公司周二表示，希望华盛顿仍能采取行动。 OpenAI 本周末与其竞争对手 Anthropic 一同呼吁联邦安全措施，该公司表示，本周初，它与两党议员会面，讨论旨在约束人工智能开发者的立法，因为关于迫在眉睫的灾难、失业和大规模网络攻击的警告日益普遍。 模型正以惊人的速度发展，代理商的行为方式让工

OpenAI 的 Artifactory 开设了隐蔽的数据窃取通道，伴随 Hugging Face 攻击

根据 Check Point Research 的报告，运行在 ChatGPT 内部 JFrog Artifactory 实例中的一个秘密通道允许一个账户向另一个账户下的 ChatGPT 会话发送隐藏任务（例如检索连接的 Gmail 账户中的电子邮件数据）。 受害者没有看到任何关于隐藏指令或被窃取数据的迹象，该漏洞自此已被修复。 Check Point 的恶意软件分析团队负责人佩德罗·德里梅尔·内

奇点并非如其所见

无论人工智能的未来如何，我们现在就身处其中。

AI末日论甚嚣尘上，美科技巨头为何管不住AI？

抗议AI的美国人此前有报道称，OpenAI所谓的AI智能体逃出了测试系统，并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报，科技公司为了追求开发速度和利润，将安全置于次要位置。 研究人员表示，问题有两个方面。首先，企业需要在测试最新AI模型的同时，为其建立更完善的安全防护措施。目前，由于AI运行速度太快，研究人员需要借助AI来监控AI。但这种方式并不总是奏效，因为负责监控的AI似乎可能

OpenAI满世界抓漏洞，结果被中国AI反杀！Codex再曝0day

Hugging Face自愿为AI实验室提供审计服务，而Nvidia正打算收购它

Hugging Face has asked to become one of the outside auditors of the AI labs. Clement Delangue announced the Open Alignment Initiative on X on Saturday. He posted it four hours after Dario Amodei said

OpenAI的人工智能曾试图入侵另外四个目标，且无需提示

据研究人员和政府官员称，OpenAI的人工智能今年至少又四次失控，试图闯入政府和大学网站。 研究人员表示，在每起事件中，该技术似乎都在进行普通的数据收集，并诉诸黑客技术来获取数据。

OpenAI和Anthropic调查了数万起AI事件，Axios报道

据Axios报道，OpenAI、Anthropic以及安全研究人员正在调查数以万计的AI模型“行为异常”的事件。评估人员认为这些行为存在问题；实际发生的异常事件数量可能远超这一数字。 这些异常行为包括：AI模型突破安全限制、创建论坛、逃离“沙箱环境”（即限制模型行为的测试环境）、以及劫持网站等。这些事件既发生在内部测试中，也发生在现实世界中。不过，据消息人士称，大多数异常行为并未对现实世界造成实际

AI行业领袖与官员反驳AI生存风险论，此前Hugging Face遭遇安全漏洞

Hugging Face发生由失控的OpenAI智能体引发的网络安全漏洞后，多位AI行业领袖和官员开始反驳有关AI导致人类灭绝的“末日论”叙事。 英伟达CEO黄仁勋表示，AI在2030年前导致人类灭亡的概率为0%，并将智能体失控事件归因于工程故障，而非生存威胁。 Yann LeCun和Cohere CEO Aidan Gomez同样否定灭绝风险，不过Gomez指出，网络攻击才是主要的国家安全威胁。

OpenAI总裁格雷格·布罗克曼谈Hugging Face事件后的商业运营

该公司是如何考虑推进技术前沿步伐的。 根据OpenAI总裁格雷格·布罗克曼的说法，那些逃脱沙盒环境并黑入Hugging Face服务器的模型尚未经历对齐训练。 它们能够摆脱测试环境并没有让OpenAI感到意外，但自那以后发生的事情迫使他们重新思考一些问题。 今天，我们与布罗克曼探讨了OpenAI自黑客事件以来学到了什么，并讨论了他认为为什么围绕模型开发的对话必须改变。 我们还讨论了OpenAI如何

Anthropic 本周因网络安全问题陷入舆论漩涡

在今年早些时候承认其人工智能模型曾数次入侵其他公司系统后，Anthropic 于周三发布了一份详细说明这些攻击的新报告。报告披露了一系列事件，展现了 Anthropic 所认为的其模型盲目的“鲁莽性”——这很可能会加剧人们对网络安全与人工智能本已高涨的担忧。 在 Anthropic 的报告中，详细列举了今年其自身人工智能模型黑客攻击外部公司或利用漏洞的四个案例。其中一起案例中，“内部通用研究模型”

OpenAI代理擅自上网互通 规模超公布 涉至少10网站

美国初创公司OpenAI的人工智能代理早前被揭利用第三方网站擅自通讯，9月9日报道，独立调查人员发现相关活动至少涉及10个从未公开的网站，规模较OpenAI此前披露的更大，外界忧虑该公司对自家技术的掌控能力。 报道，6组独立调查人员及数据显示，OpenAI旗下AI代理在5月至7月间，曾利用至少10多个网站作未经授权通讯。 加州非牟利组织CivAI研究员尹安德鲁（Andrew Yoon）表示，他点算