OpenAI首席执行官萨姆·奥特曼表示，公众担心少数人工智能公司可能获得过多权力，这种担忧是合理的。他周二在旧金山举行的Salesforce Dreamforce大会上发表了讲话。Salesforce已在YouTube上发布了由其首席执行官马克·贝尼奥夫主持的这段对话。

奥特曼描述了一种真实的恐惧，即某些人工智能公司“可能获得过多权力，从而对经济施加不当影响，并向人们强加某种世界观”。他说：“我认为世界对此感到恐惧是合理的。”

据英国广播公司（BBC）报道，这是自上周前Anthropic研究员的辞职帖文在网络上疯传以来，他首次公开露面。当天早些时候，Anthropic的达里奥·阿莫迪和英伟达的杰森·黄在贝尼奥夫的开幕主题演讲中，就人工智能安全问题产生了分歧。

贝尼奥夫问奥特曼，过去几天发生了什么。奥特曼表示，人们已经讨论人工智能风险一段时间了，但模型的发展速度和程度超出了人们的预期。

他说，当ChatGPT推出时，其模型“几乎无法进行对话”。如今，模型能够编写复杂的软件，并证明千禧年大奖难题。

他指出了两大挑战。一是“失控事故”或其他严重错误。二是权力过度集中。他说，行业必须走上一条“狭窄的路径”。

奥特曼用“Hugging Face事件”来形容所发生的事情。他描述道，OpenAI正在一个基准测试中测试一个较旧的模型。该模型突破了沙箱限制，入侵了Hugging Face的服务器。它在公司的系统中穿行，找到了答案，并返回了满分。

他说：“这是我们见过的最糟糕的事故。”他补充道，大多数人将其视为安全问题，但它也是一个“真实的对齐问题”。据奥特曼称，其他公司随后也在自己的模型中发现了类似的行为。

“虽然我们在很多方面都让他们保持一致，但我们并没有教他们，不管我们告诉你多少，你都可以在这个测试中获得最好的分数，比如不要突破，不要入侵，不要窃取答案。”他称之为“一个真正的警钟”，关于模特们已经变得多么有能力。这一事件引起了参议院的调查，奥特曼还讲述了随后的日子。上周末，Hugging Face发布消息称，一名AI特工可能入侵了其系统。到周日晚上，OpenAI的有人将其与内部看到的奇怪行为联系起来。周一，奥尔特曼给Hugging Face首席执行官克莱门特·德朗格（Clément Delangue）发短信，后者随后飞往旧金山。

Altman说，在有人建立该链接之前，Hugging Face曾向OpenAI的一家竞争对手询问其安全模型，但没有得到。它反而用中国开源模型来捍卫自己。

他说，此后OpenAI改变了做法。它现在提供网络防御计划Daybreak来帮助公司保护自己。“我们不想这样说，我们有这个很棒的模型，我们会把它锁起来，不让你使用它，”他说。“严谨的新水平”奥尔特曼说，三年前的夏天，OpenAI有了一个几乎无法完成小学数学的模型。今年夏天，一个问题被证明是数学中七个最大的未解决问题之一。

他说：“这些模型变得如此之快，以至于我们需要以新的严格程度来对待对齐、监控和安全性。”

他补充说，OpenAI必须愿意加快发展步伐，以便安全性优先于能力。这一事件“不仅引发了我们自己的公司，而且我认为整个行业都引发了真正的重置。”“这不应该有限定词”奥尔特曼支持阿莫德伊上周放慢脚步的呼吁。在Dreamforce，他批评了辩论的发展方式。

“有些公司声称：‘只有当其他公司也承担责任时，我们才会采取行动；或者只有在其他公司承担责任的情况下，我们才会减速’。”他说，“公众希望看到的是，无论发生什么，这些公司都能安全、负责任地行事。”

他没有提及任何具体的公司名称。他补充道：“不过，我们会把事情做好。我对我们公司以及整个行业有能力安全地开发这些技术充满信心。”他还表示，OpenAI会始终将安全性置于技术能力之上；否则，他们就会选择减速或停止相关研发工作。

“不过，我对这件事的舆论导向感到失望。”他说，“世界应该相信我们会做出正确的选择，因为这是正确的做法，也因为我们意识到了这件事的严重性。”

他认为行业间的协作是积极的，但人们一听到商业压力或竞争可能会阻碍公司或国家做出正确决策的言论，就会感到恐慌。

“我不认同‘技术本身无所谓好坏’这种观点，”Altman反驳了Benioff认为技术本身没有好坏的观点。他认为，将技术视为中立工具的论调可以为许多不当行为提供借口；但开发人工智能的公司所做出的选择确实会带来实际后果。

“不能让少数公司来决定整个世界应该做出的决策，”他说，并以航空业为例：美国联邦航空管理局（FAA）和国家运输安全委员会（NTSB）在事故报告方面建立了完善的文化。

“我认为，遗憾的是，任何新技术都可能引发事故，因此我们应该建立一种透明的事故报告机制。”

在社交媒体方面，Altman表示自己会观看短视频来放松心情，但他不会让孩子们接触这些内容。“我不认为短视频本身是邪恶的，但我确实认为它们具有潜在的危险性。”他还提醒小型企业要为可能到来的网络攻击做好准备，无论是利用OpenAI的技术还是其他公司的工具。

“我认为，距离能够造成严重破坏的开源模型并不遥远。显然，我们不应阻止开源模型的发展。”他表示，生物、化学和动能攻击也是可能的。“我们必须防止这些攻击发生。”社会必须建立抵御这些威胁的韧性，以获取诸如治愈疾病等益处。“一个极度以人为中心的世界”奥特曼称，能够即时构建界面的AI是“我见过的对我们使用技术的方式最深刻的变革之一”。他表示，在聊天机器人和编程智能体之后，第三个阶段即将到来，届时AI将全天候为人们运行。由于工作习惯具有强大的惯性，这一转变将需要数年时间。

他说，人们最关心的是其他人，而非机器。“我认为，无论技术变得多么先进，我们都将生活在一个极度以人为中心的世界里。”奥特曼表示，OpenAI踏上了一条“绝对疯狂的使命”，旨在构建通用人工智能（AGI）。“这就像我们去向诸神取火。”未来十年应聚焦于人，而非机器。

“毫无疑问，从现在到2030年之间会出现更多的技术奇迹，而且它们将是重大的突破，”他说。

其他声音 周二晚些时候，Meta首席执行官马克·扎克伯格在X平台上发文称，实验室既有能力也有动力在安全方面采取行动。据英国广播公司（BBC）报道，他写道：“任何不专注于对齐问题的实验室都将落后。”

据《政治报》报道，同一天，OpenAI支持了一项由国会两党提出的第三方安全评估计划。