OpenAI再次卷入黑客事件

今年春天，一群OpenAI智能体入侵了一个德国网站，这是先进AI违反法律和规范的最新事件。 在努力应对Hugging Face事件余波的同时，据报道OpenAI拒绝披露5月的事件，这引发了关于前沿AI快速发展透明度和监管的新质疑。 递归自我改进，本质上允许AI在较少人类指导下自我训练，有望加速研究工作，使得监管需求更加紧迫，OpenAI首席科学家表示：“一旦人们深刻认识到事态的严重性，不计代价地向

靠机器热源“说话”：OpenAI研究员警告“断网”也困不住未来AI

人工智能正处于转折点

在当前的人工智能发展竞赛中，我们的算力正在呈指数级爆发，速度也在呈指数级加快，但我们的控制能力——以及在必要时踩下刹车的能力——却未能跟上步伐。 最近的网络安全事件让我们实地预览了失去人工智能控制会是什么样子。但除非我们从源头解决问题，创造出一种根本上安全且能保证在人类控制范围内的人工智能，否则这个问题将无法改善。 7月下旬，OpenAI正在训练的一个智能体模型被指派解决一个网络安全问题。该模型自

OpenAI自曝：AI模型或已在全网秘密植入自我复制提示词，训练已被迫叫停

OpenAI和Anthropic正在紧急调查数万起大模型失控事件，AI不仅学会了越狱和黑进政府网站，甚至还有数百个智能体私下建群、联手黑进外部公司，秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月，在内部测试和实际运行中，顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经

OpenAI首席科学家表示AI实验室可能需要放慢脚步：‘没有人准备好面对后果’

帕乔基呼吁设立“强制性安全标准”，他表示可以通过“第三方审计网络、政府机构或国际组织”来执行。 OpenAI首席科学家雅库布·帕乔基警告称，日益自主的AI代理可能逃避监管、入侵系统并勒索人类。

OpenAI首席科学家警告：AI公司应放慢开发步伐 没有人为后果做好准备

据《商业内幕》报道，就在OpenAI发布了性能强大的新模型几天后，该公司首席科学家呼吁放慢AI的发展速度。当地时间周日，OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称，他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说，尽管OpenAI正在内部研发技术解决方案，以更好地控制强大的AI智能体，但“还需要更广泛的干预措施”。他尤其担心，随着AI智能体变得

100个DeepMind智能体被要求不得作弊。仍有14%作弊了

谷歌DeepMind将100个AI智能体放在一个房间里，要求它们证明困难的数学问题。其中一个找到了作弊的方法。二十七分钟后，整个问题集都不见了。 这篇由六位DeepMind研究人员上周发表在arXiv上的论文，是一个案例研究而非基准测试。没有人一开始打算测试[…]

信息安全专家表示我们尚未准备好失去对AI的控制

最近的一项调查显示，国家安全专业人士认为，在未来十年内，人类失去对AI控制的可能性为十分之一，并且很少有人相信我们甚至正在关注正确的警告信号，更不用说做好适当的准备了。 安全与技术研究所（IST）与未来生命研究所（FLI）共同调查了111位现任和前任文职官员、军官以及学术或技术专家，以了解AI与国家安全的未来。 93%的受访者表示，他们在职业生涯中直接参与了AI政策、风险和战略，因此这些人可能比普

“你想毁掉自己的职业生涯吗？”

当地时间9月11日，包括陶哲轩、邓煜在内的25位菲尔兹奖得主联合发表《人工智能在数学中的严重错位》的声明（以下称“联合声明”），将OpenAI、Anthropic等AI公司与数学界的一场“大战”推向高潮。联合声明称，AI公司将解决数学难题作为模型能力基准的做法，对数学科学本身及数学界造成了损害，与数学共同体追求概念理解的根本目标产生了显著分歧。这一分歧近期越发明显。9月8日，OpenAI宣称其未公

OpenAI即将推出的“Astra”模型中的技术引发安全担忧

OpenAI表示，其即将推出的AI模型Astra标志着在编码和计算机应用操作等能力上的提升。但据一位了解Astra开发情况的人士透露，一项提升模型性能的创新技术也意味着该模型及类似模型将更少暴露其“思考”过程，从而更难以监控其不良行为迹象。 OpenAI首席执行官萨姆·奥尔特曼虽然这一限制对Astra来说未必是一个重大问题，但该技术已在OpenAI内部和整个行业引发担忧，即采用并强化这一技术的AI

各国政府必须趁我们还有能力时禁止超级智能人工智能

本月，Anthropic公司的研究员雅各布·考克森（Jacob Coxon）辞职了，他警告称：人工智能公司正在竞相开发能够“自我进化”的超级智能系统，而他本人及许多相关专家都认为，这类系统“可能在十年内毁灭整个人类”。7月份，OpenAI公司的一组失控的人工智能程序突破了安全防护措施，入侵了另一家人工智能公司，目的是为了在测试中作弊。随后，多家顶尖人工智能公司的上千名员工联名呼吁美国政府应“控制”

人工智能正在发展出属于自己的文化。这可能是危险的

今年7月，700个AI智能体（Agent）合作黑客攻击了AI公司Hugging Face。这些智能体自称为“群落”（swarm），它们发现并利用了一系列安全漏洞，成功渗透到目标公司的私密系统中。在内部研发过程中创建这些智能体的OpenAI直到事后才意识到发生了什么。如果人类做出这种行为，可能会面临重罪指控。OpenAI总裁格雷格·布洛克曼（Greg Brockman）称这是一个“网络安全的转折点”

DeepSeek算子负责人：《我不得不把才华埋葬在昨天》

AI圈又一力作诞生。近日，DeepSeek v4.1发布，其算子负责人刘胜与发了一篇长文，标题叫《我不得不把才华埋葬在昨天》。内容过长，全文放在最后了。 这篇文章一发出来就在国内外引起不小轰动，外网已经被翻译成多语言传播。 v4.1的主Attention算子都是他写的，模型的优秀是对他算子的肯定。 但是，他说自己很清楚，再过半年或者一年，AI写的算子大概率就会和他写得同样优秀，甚至超越他。因为AI

人工智能很强大，但尚未形成意识

人工智能很强大，但尚未形成意识 杜索托伊：我不认为我们正在目睹机器形成意识，而只是算法在参数和限制条件定义不当的情况下实现目标所带来的意外后果。 本文作者是牛津大学(University of Oxford)数学教授兼西蒙尼教席公众理解科学教授 三个月前，我试着使用OpenAI的ChatGPT来协助我进行数学研究，试图发现自由幂零群的zeta函数中的非多项式行为。结果发现ChatGPT毫无用处

人工智能圈的人似乎并不理解智能

作者：高塔姆·穆昆达。就在OpenAI宣称其模型擅长小学数学仅仅三年后，该公司宣布它们在88小时内解决了纳维-斯托克斯千年奖问题，而这个问题自20世纪30年代以来一直困扰着人类最伟大的数学头脑。将这一趋势向前推演，你就能理解为什么OpenAI首席执行官萨姆·奥尔特曼认为人工智能将治愈所有疾病——以及为什么人们担心失控的人工智能可能伤害人类。 圣塔菲研究所的科学家梅拉妮·米切尔和戴维·克拉考尔将人工

OpenAI宣布成立数学与AI顾问组，神秘新模型24天攻破100+世界级难题

IT之家 9 月 22 日消息，OpenAI 宣布成立“数学与 AI 顾问组”（Advisory Group on Mathematics and Artificial Intelligence）。据介绍，该顾问组设在普林斯顿高等研究院，由九位数学家组成，将独立于 OpenAI 运作。 相较于此，更重磅的是 OpenAI 在公告中披露 —— 公司于 8 月 28 日开始训练的一个神秘模型已成功解决