贝尼奥夫一边在观众中漫游，一边发表他的梦想力量布道，然后是一个带轮子的遥控摄像机，把他的脸投射到挂在洞穴般房间天花板上的屏幕上。几分钟之内，他就订购了Salesforce年收入的图表，该公司预计到2027年将超过460亿美元，部分原因是对其人工智能产品的需求。观众鼓掌。但笼罩着整个事件的是一个黑暗的人工智能真的值得我们冒着生命危险吗？
在代理商构建仪表板的华丽软件演示之间，参加会议的人观看了硅谷领导人辩论人工智能行业是否应该保持领先，或者政府是否需要放慢人工智能的进展以防止该技术带来的灾难性风险。
上周，人工智能研究员雅各布·考克森（Jacob Coxon）从Anthropic辞职，并公开警告称，竞相开发自我改进人工智能系统的公司正在“拿我们的生命做赌注”。到了周末，Anthropic的其他员工也表达了同样的担忧，首席执行官达里奥·阿莫迪（Dario Amedei）敦促世界领导人帮助“加快人工智能发展的前沿”。随后，其他人工智能首席执行官开始支持这一想法，其中包括Amedei最大的竞争对手、OpenAI的Sam Altman。
但并非所有人都同意这个想法。白宫人工智能顾问大卫·萨克斯（David Sacks）对阿莫德伊的建议和对人工智能厄运的担忧不屑一顾，称其“只是监管捕获的又一次尝试”。特朗普总统本周走得更远，称对生存人工智能风险的担忧是“骗局”。尽管政治环境充满挑战，国会仍试图利用这一时机，推进监管人工智能行业的立法。
舞台上，身高6英尺5英寸的贝尼奥夫耸立在Anthropic首席执行官之上，在询问阿莫迪对人工智能进展的最新评估之前，他与阿莫迪用力握手。虽然这无疑是贝尼奥夫的节目，但Anthropic已成为帮助Salesforce进入人工智能时代的重要合作伙伴。
“假设你经营着一家汽车公司，而另一家（并非你旗下的）汽车公司发生了某种安全事故，”阿莫迪（Amodei）说道，这其实是在暗指 OpenAI 与 Hugging Face 之间发生的事件。“显然，攻击竞争对手的冲动会非常强烈，”他解释道，“但更负责任的做法应该是与整个行业合作，共同探讨如何为所有企业制定统一的安全标准。”不过，Anthropic 的首席执行官也强调：在推动技术发展的同时，绝不能“让技术停滞不前”。他还特意提到了 Claude 与 Salesforce 的集成功能。
阿莫迪发言结束后不久，Nvidia 的首席执行官黄仁勋（Jensen Huang）上台，试图淡化 Anthropic 所提出的担忧。黄仁勋认为，人工智能安全问题本质上属于“工程学问题”，因此开发人工智能技术的公司应该能够自行监督和管理自身的行为。
“我们不需要任何新的法律或法规，”黄仁勋对 Dreamforce 的与会者说，“企业可以尽情推动技术发展，但一旦发现技术失控或产品存在安全隐患，就应该立即停止相关活动。”虽然这场辩论的议题显得有些严肃，但或许对于 Dreamforce 来说，这正是讨论这类问题的最佳场合。当各位科技高管纷纷展示他们的人工智能产品时，我悄悄离开了会场，穿过那些毛绒吉祥物和带有夏威夷风格的装饰品，接听了来自伯克利大学计算机科学教授萨亚什·卡普尔（Sayash Kapoor）的电话。
卡普尔（Kapoor）与普林斯顿大学的阿文德·纳拉亚南（Arvind Narayanan）合著了《AI Snake Oil》一书，并共同在 Substack 上撰写了《AI as Normal Technology》这篇文章。他们以善于揭露人工智能领域的炒作行为而闻名，同时也不否认这项技术的潜力。本周，他们发表了一篇篇幅较长的文章，试图深入分析那些导致技术失控的事件（比如 OpenAI 旗下的模型意外入侵 Hugging Face 的事件）。
卡普尔说：“我们在这篇文章中试图做的部分工作是克服这种错误的二分法，在人工智能安全和网络安全之间架起桥梁。”“当然，如果你认为人工智能很快就会变得超级智能并逃避我们可以强加给他们的任何控制，那么对齐似乎更重要。另一方面，如果你认为人工智能公司疏忽了并避免采取沼泽标准的网络安全措施，那么很自然地认为控制是我们需要干预的。我认为这两种观点都有一定的道理。”卡普尔表示，在拥抱脸事件发生后，他惊讶地发现OpenAI采取的安全预防措施如此之少。他认为，人工智能公司需要考虑到他们“缺乏组织成熟度”，并接受失控事件不会通过安全或调整方面的单一突破来解决。他补充说，这一事件使他相信，政策制定者应该让人工智能实验室对其技术造成的危害负责。
“OpenAI对Hugging Face黑客的后果基本上接近于零。该公司能够在很大程度上按原样进行，”卡普尔说。“如果你想象任何其他行业发生这种程度的事故，你会看到长达数月的内部调查，人们会被解雇或入狱，OpenAI将不得不支付数百万美元的罚款。”卡普尔并不完全支持阿莫德伊加快前沿步伐的提议，但他同意其中的部分内容。他认为人工智能实验室需要更好的治理来打破“快速行动、突破”的态度，并且他们应该让独立评估人员评估他们的人工智能安全和安全实践。他和纳拉亚南写道，当然需要进行更多的协调工作，但今天真正的危机更狭隘地涉及网络安全。
其他人则认为，Hugging Face事件揭示了AI实验室正面临一场真正的对齐危机，而这是一个更难解决的问题。近几周，独立研究人员发现了更多案例，其中OpenAI的智能体集群入侵了第三方服务。AI安全非营利组织Nightingale的CEO悉尼·冯·阿克斯帮助发现了其中两起，目标分别是一个德语维基和软件服务RubyGems。
“这些事件清楚地表明，当前许多AI存在严重的不对齐问题，”冯·阿克斯对《连线》表示。“是的，这些公司需要能够控制自己的模型，使其即使不对齐也无法发动网络攻击。但我们从一开始就不应该构建会自主试图突破并实施网络攻击的强大AI。”采访结束后，我冲下楼去排队参加贝尼奥夫与奥特曼的炉边谈话。OpenAI的CEO告诉观众，“世界有理由害怕”AI公司。但在对话结束时，奥特曼表示，他对OpenAI在公司第二个十年能够打造更好的产品抱有希望。
“这就像我们去众神那里盗取了火种。这是世界上刚刚发生的一件疯狂的事，”奥特曼在谈到AI技术时说。他希望OpenAI能够“找到一种方式，以对人们最有用的形式将这种价值赋予他们，找到一种方式，用这股能力的洪流赋能地球上的每一个人——地球上的每一家企业。”黄仁勋关于自我监管的论点，取决于AI公司不仅知道何时该暂停，还具备真正付诸行动所需的自我克制。目前尚不清楚它们是否具备这种克制。就在向世界警告AI实验室迫切需要放慢脚步几天后，这些CEO们就出现在了最大的企业软件大会上，推销他们的最新产品。尽管他们谈及了对AI末日的担忧，但他们到场主要是为了确保资金持续流入。
这是Maxwell Zeff的Model Behavior时事通讯。