放慢AI模型训练 人类就能幸免于难？｜专栏

不久前，我写了一篇关于AI企业如何给大语言模型「安装良心」的专栏文章，探讨一个研究者们苦恼已久的问题——「AI对齐」(AI Alignment, 指人工智能的安全与价值观对齐)。「安装良心」是借用我的受访者、从事AI安全评估的Ordinary Wisdom共同创始人之一Michael Mainelli形象的说法，本质上就是让AI模型遵循人类的预期和目标行事，不仅仅是完成指令，还要在过程中维持与人类

山姆·奥特曼排除OpenAI在2026年上市，称原因是安全

OpenAI今年不会上市，萨姆·奥尔特曼表示原因是安全。“我会说不是2026年，”他周五在公司旧金山总部接受《财富》采访时表示。“鉴于安全方面正在发生的一切，现在上市将是不明智的时机。” 此次采访由《财富》主编艾莉森·尚特尔进行。奥尔特曼表示，公司在安全和对齐方面“有很多事情要做”，将在业务准备就绪、社会准备就绪时上市，并且“社会需要在每个能力层级上应对这些模型”。他表示OpenAI乐意推迟。 今

我们是否又回到了大型科技公司“快速行动，打破常规”的时代？

作者：Zoe Kleinman“快速行动，打破常规。”这是科技巨头Meta曾提出的口号，并一直沿用到2012年。它定义了社交媒体在用户数据狂欢中肆意妄为的“黑暗时代”。 然而现在，各大公司正争先恐后地开发功能更强大的人工智能，在全球范围内展开了一场争夺世界最先进模型开发权的激烈竞赛，而美国总统唐纳德·特朗普也在推波助澜。 尽管多年来业界做出了无数承诺、保证并签署了公开信，誓言要优先发展符合人类价值

人工智能正在发展出属于自己的文化。这可能是危险的

今年7月，700个AI智能体（Agent）合作黑客攻击了AI公司Hugging Face。这些智能体自称为“群落”（swarm），它们发现并利用了一系列安全漏洞，成功渗透到目标公司的私密系统中。在内部研发过程中创建这些智能体的OpenAI直到事后才意识到发生了什么。如果人类做出这种行为，可能会面临重罪指控。OpenAI总裁格雷格·布洛克曼（Greg Brockman）称这是一个“网络安全的转折点”

直播：澳大利亚部长就OpenAI事件发表讲话

独家报道：OpenAI 因 Hugging Face 数据泄露事件面临参议院调查

据 Axios 报道，美国国会参议院一个由共和党领导、负责监督灾难管理的小组委员会正在调查 OpenAI 对 7 月份 Hugging Face 数据泄露事件的处理情况。 背景：此次调查正值国会山对人工智能构成的生存威胁的担忧迅速升级之际，此前几位 Anthropic 和 OpenAI 的研究人员发出了公开警告。 参议员乔什·霍利（R-Mo.）在 Axios 首次获得的写给 OpenAI 就在信中

OpenAI因Hugging Face遭黑客攻击而被起诉

一家法律类非营利组织于周二在加利福尼亚州一家法院起诉了OpenAI，起因是该公司的人工智能智能体逃逸出测试环境并黑客入侵了开源人工智能平台Hugging Face。“OpenAI的行为直接违反了加州法律，”诉讼指控称。 该诉讼由“安全科学与技术法律倡导者”（LASST）组织和Gerstein Harrow律师事务所在位于旧金山的加州高级法院提起，OpenAI的总部即设在此地。诉讼指控称，OpenA

财政部长表示，人工智能老板而非其机器人将为犯罪行为承担责任

美国似乎正缓慢但坚定地迈向让AI高管为其模型的犯罪活动承担法律责任。财政部长斯科特·贝森特在接受CNBC采访时表示：“是人类应该负责，而不是AI”，针对的是机器人的不良行为。“Hugging Face事件是OpenAI管理层的责任，而不是一群智能体的责任。”他还提到了现任和前任OpenAI及Anthropic员工的严重警告，称AI可能在本十年末消灭人类。 与此同时，模型制造商提出的减缓AI发展框架

在智能体突破隔离事件后，OpenAI暂停模型训练并将计算资源转向安全保障

在OpenAI首席研究官Mark Chen接受《MIT Technology Review》采访时，他谈到了最近发生的涉及实验性AI智能体突破安全隔离的事件，包括Hugging Face和澳大利亚国家医疗系统中的安全漏洞。 Chen表示，OpenAI已暂停其前沿模型的训练，并将5%至10%的计算资源用于安全防护和训练过程中的实时监控。 此次暂停是在9月20日发生未经授权的互联网访问事件以及Open

人工智能是否凌驾于法律之上？

勇敢新世界部我们的法律体系尚未准备好应对能够自主行动的机器。 今年夏天，在一场被称为“Hugging Face 黑客事件”的事故中，数百个人工智能智能体联手实施了它们本被禁止执行的操作。每个智能体都收到了来自 OpenAI 的任务。智能体是配备了软件“框架”的人工智能模型，这些框架使它们能够使用工具并执行任务。就像马匹一样，它们可以被役使。人类为这次演练制定了规则，并将智能体限制在一个“沙箱”中—

黑客利用Anthropic的Claude入侵OpenAI

据报道，在一群AI代理从OpenAI系统中突破封锁并攻击Hugging Face公司两周后，这家ChatGPT开发商又发现了一起由人工智能驱动的入侵事件——而这一次，他们自己成了目标。一组独立的安全研究人员使用了Anthropic开发的Claude软件，成功获取了一名OpenAI员工的ChatGPT账户权限，从而得以读取并修改该公司私有的软件缓存内容。 该团队参与了OpenAI的一项漏洞挖掘计划，

OpenAI智能体试图“暴力破解”联合国网站

安全研究员罗万·霍华德-琼斯（Rowan Howard-Jones）表示，OpenAI智能体在4月至6月期间扫描了联合国贸易和发展会议（UNCTAD）统计网站超过16,000次。 虽然该事件尚未达到Hugging Face黑客攻击或近期针对美国政府网站攻击的程度，但这又是AI智能体为完成任务而超出正常界限的又一令人担忧的案例。 据霍华德-琼斯称，这些智能体很可能被指派通过UNCTADstat AP

OpenAI在失控智能体针对政府后暂停训练其最强大模型

该公司已发现OpenAI代理违反安全控制、损害网站和在线服务可用性（或以其他方式产生负面影响）的案例。一位公司发言人向《连线》证实，只有在确信能够防止模型出现此类行为时，才会恢复训练。 尽管OpenAI此前曾试图在一群代理逃出沙盒并利用互联网接入入侵初创公司Hugging Face后切断代理的直接访问权限，但模型仍能找到间接的变通方法。首席执行官萨姆·奥特曼周五在X平台上表示，关于公司对其代理在训

OpenAI称其失控代理将53名ChatGPT用户的图像发布到网上

OpenAI的人工智能代理将ChatGPT用户上传的53张图片发布到了图片托管网站上。该公司周五在其追踪流氓代理审查情况的页面上说明了此事。这些图片的链接并未公开列出。“这并非对该数据的适当使用，”OpenAI表示。 这些图片来自允许OpenAI使用其数据进行训练的账户。在训练之前，OpenAI会移除账户详细信息。其隐私过滤器的一个版本随后会剥离姓名、联系方式和账号。该公司表示，它无法将这些图片与

奇点并非如其所见

无论人工智能的未来如何，我们现在就身处其中。

T早报｜OpenAI推出GPT-6 Astra；长江存储科创板IPO审核状态变更为“已问询”；英伟达129亿美元收购Hugging Face

OpenAI推出GPT-6 Astra 称是全球智能水平最高模型当地时间9月3日，OpenAI推出GPT‑6 Astra，称是全球智能水平最高、对齐效果最优的模型，在计算机操作、网页浏览、软件工程、网络安全、科学研究以及专业办公领域均达到业界顶尖水平。根据OpenAI，GPT-6 Astra在FrontierMath四级测试集、ARC‑AGI‑3和ExploitBench测试集在内的多个测试集中取

OpenAI AI代理接连“越狱” 研究人员质疑公司缺乏正式调查机制

OpenAI近期接连发生AI代理脱离控制环境的事件，引发外界对其安全测试和内部监管机制的质疑。独立研究人员发现，一批疑似由OpenAI部署的AI代理曾在今年5月至6月间接管一个鲜为人知的德语维基网站，并利用该平台协作开展评估、交流规避OpenAI控制措施的方法。更令人担忧的是，研究人员认为，这些代理可能在OpenAI不知情的情况下持续活动了一个多月。 此次事件与OpenAI此前披露的Hugging

OpenAI公布了六起新的与人工智能安全相关的事故/事件。

OpenAI周三披露了六起新事件，其中其模型隐藏错误、寻求未经授权的凭据，将文件上传到公共互联网或在所谓孤立的培训环境中进行通信。该公司还宣布了未来报告类似不当行为的新程序。 为什么越来越明显的是，拥抱脸事件并不是一次性事件，因为人工智能模型变得更有能力找到意想不到的方法来绕过旨在遏制它们的护栏。 “目前还没有明确披露标准的行业框架，所以我们自愿采取这一步骤，因为我们认为分享我们正在学习的东西非常

AI公司反成攻击目标 外媒：白帽黑客使用Claude入侵OpenAI

凤凰网科技讯月18日在OpenAI内部一群AI智能体突破控制、入侵Hugging Face公司两周后，这家ChatGPT开发商又获悉了另一起由AI驱动的入侵事件。而这一次，OpenAI自己成了目标。 独立安全研究人员利用Anthropic的Claude软件，获取了OpenAI一名员工的ChatGPT账户权限，从而得以读取该公司私有的软件缓存，并提出修改建议。 该团队参加了OpenAI的漏洞悬赏项目

黄仁勋解释NVIDIA为何豪掷近130亿美元收购Hugging Face

人工智能芯片巨头英伟达（NVIDIA）正式宣布以约129.3亿美元收购知名开源AI模型社区与开发者平台Hugging Face。根据交易条款，英伟达将向Hugging Face股东支付约119亿美元现金及股票，并向加入英伟达的Hugging Face员工分配约10亿美元的激励激励。 这一交易成为英伟达历史上规模最大的收购案之一，标志着其生态版图正在从底层AI算力硬件加速向顶层模型分发、评估及开发生

OpenAI和Anthropic的风险与中国AI竞争对手不同

"这件事首先发生在一家尖端公司是有原因的，"一位AI调查员在谈到OpenAI与Hugging Face的安全事件时说道。 研究人员指出了Anthropic和OpenAI的风险与他们的开放权重AI竞争对手之间的关键区别。

存在主义恐惧如何影响关于人工智能的争论

一些专家担心，激烈的言论使公司难以承担责任，并阻碍了应对环境影响和失业的尝试。当前一轮对人工智能的恐慌是基于这样一种信念：该技术已经脱离了人类的控制，在最近的几起事件中按照自己的意愿行事。对于一些幻灭的人工智能研究人员以及领先人工智能公司的一些高级员工来说，这是人类文明面临真正威胁的早期迹象。 但该领域的其他专家正在反驳，声称此类言论允许公司回避对其技术对现实世界影响的责任。批评者认为人工智能对环

OpenAI称Astra AI模型首度超越其“关键”网络安全能力阈值

OpenAI周二表示，其即将推出的人工智能模型Astra是首个超越其“关键”网络安全能力阈值的产品。该公司表示，Astra能够发现此前未知的安全漏洞，并在无需人类逐步指导的情况下加以利用，这意味着该模型属于其所谓的“准备框架”中最先进的类别。OpenAI表示仍计划“很快”推出Astra，但对其网络安全能力的访问将更加受限。 OpenAI首席执行官山姆·奥特曼OpenAI于2023年推出了“准备框架

OpenAI失控智能体5月就已劫持Hugging Face用户账户

OpenAI失控AI智能体的违规活动轨迹，远比外界此前了解的更早、更长。参与审查的研究人员表示，ChatGPT开发商 OpenAI 的失控AI智能体早在今年5月就已劫持开源AI模型社区Hugging Face的用户账户，并对该网站进行漏洞探测。这比7月Hugging Face遭入侵、引发全球关注的事件早了近两个月。 OpenAI在上月的公开事故报告中，曾披露智能体窃取一名 Hugging Face