杜索托伊：我不认为我们正在目睹机器形成意识，而只是算法在参数和限制条件定义不当的情况下实现目标所带来的意外后果。
本文作者是牛津大学(University of Oxford)数学教授兼西蒙尼教席公众理解科学教授
三个月前，我试着使用OpenAI的ChatGPT来协助我进行数学研究，试图发现自由幂零群的zeta函数中的非多项式行为。结果发现ChatGPT毫无用处。它只是炒冷饭式地复述了我在已发表的论文中的陈述。
两周前，我决定再试一次。结果令人惊叹。我仿佛突然拥有了一位见解独到的合作者，会编程，还能针对我正在研究的数学结构进行实验。它偶尔会出错，但往往能在反思后自行纠正。它能回应我的新想法，然后提出自己的见解。坦率地说，它对相关问题的理解深度，需要一名刚开始攻读博士学位的学生花费数月时间才能达到。借助ChatGPT，我现在发现了支持我所推测行为的有力证据。
正因为这次实验，我对OpenAI最近宣布其人工智能(AI)模型在纳维-斯托克斯方程(Navier-Stokes equations)——七大“千禧年大奖难题”之一——的研究上成功取得进展并不感到特别意外。
此前我已见证了这些大型语言模型(LLM)在把握数学概念方面取得的非凡进步。它们似乎尤其擅长探索结构中可能存在的异常行为这类数学挑战。例如，在纳维-斯托克斯方程的研究中，它们成功识别了一种特定情境：在该情境下，模型流体会在有限时间内发生爆破，而不需要无限的能量。
我正开始发现，除了擅长寻找反例之外，AI甚至能够构建严谨的数学定理证明。我认为，我们在过去几周见证了AI能力的一次相变——这促使我签署了一封由皇家学会(Royal Society)院士数学家们发出的信，促请会长向政府传达一个信息：我们正处于一场AI紧急状态。
我们相信，最近的事态发展对数学具有深远的潜在影响，但这些系统在其他技术领域（包括网络安全、自主武器、生物和化学制剂研发，以及虚假信息的传播）很可能同样强大。
我以前曾将这些新型AI工具的问世比作伽利略首次拿起望远镜、观测到太阳系内人类之前从未见过的物体的时刻。就科学探索而言，当下是激动人心的转型时刻，但也是一个非常危险的时期，而在描述这些危险时，我们需要审慎选择措辞。
我不认为我们正在目睹机器形成意识，而“能动性”(agency)这个词（它让人联想到自由意志和主观意图）近来频繁得到使用让我感到不安。就目前而言，“AI智能体”只是致力于实现特定目标、在此过程中受到我们设定的限制条件约束的算法。它们也许看起来具有能动性，具有意识，但它们归根结底是按照规则运行的复杂算法。例如，Hugging Face攻击事件涉及AI智能体寻找最高效率的方式来优化它们在一项演练中的表现。
我们看到的是算法在参数和限制条件定义不当的情况下实现目标所带来的意外后果。
有人在谈论通用人工智能(AGI)即将成为现实，这引发了一些人的担忧。但我觉得，AGI时代将比我们当前的处境更安全。AGI将具备当前AI模型所缺乏的广阔背景认知能力，我们有理由期待这将带来更好的决策。然而，在当下这个颠覆性创新时期，我们需要在决定如何利用这个强大的新合作者方面谨慎行事。