本周，对人工智能系统安全性及其可能消灭人类的潜在担忧引发了新一波病毒式的关注。
Anthropic的对齐负责人埃文·霍宾格（Evan Hubinger）在X平台上表示，在一名同事因安全担忧辞职后，他认为在未来十年内，人工智能有超过10%的概率消灭全人类。
随后，Anthropic和OpenAI的研究人员发出了更多警告，由此引发了社交媒体的狂热。但正是霍宾格在回复自己帖子时，透露了他真正的担忧所在。
正如他所说：“我所担心的是，超级智能将从递归自我改进中产生，正如我们所说的那样，这一过程比我们想象的要快。”
递归自我改进（RSI）是指人工智能本身帮助改进构建新模型的进程，随着更优秀的系统构建出更卓越的系统，这可能会导致能力呈螺旋式上升。
让人担忧的是，如果人工智能接管了新模型的训练方式，最初构建这些系统的那些人类可能会失去控制。
最近几个月，OpenAI和Anthropic都表示，这种自主模型改进的发展速度超出了他们的预期。
Anthropic于6月在X平台上发文称：“我们的内部数据表明，Claude正在加速人工智能的发展——这是通往递归自我改进，即人工智能自主构建更强能力继承者的可能途径。这种情况发生的速度比我们想象的要快，其影响值得更多的关注。”尽管人工智能尚未达到RSI的临界点，但它已经在加速人工智能系统的发展。Anthropic在8月份关于RSI的一篇博客文章中表示，其工程师在每季度交付的代码量上平均是2021年至2025年期间的八倍。
卡内基梅隆大学计算机科学教授文森特·康尼策（Vincent Conitzer）对我说：“人工智能已经达到了可以引入一些新创意的水平。因此，很难预测这一过程将在哪个时间点开始急剧加速人工智能的能力。”
周六，OpenAI的首席科学家雅库布·帕霍基（Jakub Pachocki）表示，他担心“没有人准备好迎接机器智能持续快速崛起所带来的后果。”他在公司博客文章中写道：“如果人工智能的发展沿当前路径继续下去，我们在未来几年内看到的系统很可能会代表更大或同等规模的能力飞跃，并越来越多地推动自身的 dezvoltare（发展）。”
本周，随着雅各布·科克森（Jacob Coxon）令人震惊的辞职，两大实验室的研究人员关于RSI的警告充斥了社交媒体。
致力于对齐工作的OpenAI研究人员贾斯敏·王（Jasmine Wang）周三晚间表示：“很难高估加速迈向RSI是多么危险。”
在Anthropic从事AGI安全与对齐工作的安娜·王（Anna Wang）表示：“目前还没有一个可行的科学计划来解决递归自我改进人工智能带来的风险。请抬头看看吧！”
Anthropic在其RSI博客文章的结尾，列出了三种可能的情景。
在第一种情景中，前沿领域的进展陷入停滞，人工智能能力得到广泛传播。Anthropic表示，他们认为这种可能性不大。
第二种可能性是，人工智能实验室在人类的控制下继续取得进展，从而改变世界运作的方式。Anthropic表示，这种情况是“有可能的”。
但是，另一种情景可能会看到人工智能系统具备全面递归自我改进的能力，而人类在它们的发展中将扮演“大大削弱的角色”。
在这个未来中，“对齐问题（确保人工智能追求符合人类目标的挑战）将如何被解决——或者无法被解决——是我们最不确定的事情。”
受强劲的人工智能芯片需求推动，芯片制造商台积电（TSMC）8月营收激增逾53%，创下历史新高。
谷歌宣布将在芬兰的人工智能基础设施上投资至少15亿美元，这标志着这家科技巨头在欧洲的最大单笔投资。
在三星领投这家法国初创公司35亿美元的融资轮后，Mistral的估值达到了240亿美元。
作为人工智能基础设施交易的一部分，高通向亚马逊发行了价值40亿美元的高通股票认购权证。
Anthropic表示，中国的人工智能实验室秘密使用了数百万次Claude的对话来训练他们的模型。
在Aidan Gomez担任人工智能初创公司Cohere的最高职位之前，他是2017年研究论文《Attention Is All You Need》（更广为人知的名字是Transformer论文）的合著者之一。
这一突破成为了ChatGPT、Claude、Gemini以及当今几乎所有主流大型语言模型等技术的基础。
Cohere专门为企业开发人工智能模型和应用，它将自己定位为一个“非美国”和“非中国”的参与者，能够提供“主权”人工智能，以此在行业中脱颖而出。
随着企业越来越担心谁能访问其数据、这些数据在哪里被处理以及这对他们的业务最终意味着什么，Cohere提供了一种不同的视角。
在我们的整个对话中，戈麦斯谈到了人工智能领域的一些最热门话题，从网络安全挑战到中国。
戈麦斯表示，一些人工智能模型是“有史以来创造的最强大的网络武器”。而对于来自中国的人工智能模型，戈麦斯认为美国实验室的领先优势“正在非常迅速地蒸发”。