波兰计算机科学家、OpenAI首席科学家雅库布·帕霍茨基警告称,人工智能的发展可能进入一个阶段,AI将开始越来越快地加速自身发展。他认为后果可能很严重。
作为OpenAI首席科学家及GPT模型的研究者之一,雅库布·帕霍茨基发表了一篇题为“异类心智”的分析文章。他在文中警告,人工智能可能开始越来越快地加速自身发展。他认为世界对此尚未做好准备,后果可能很严重。帕霍茨基认为,AI可能很快进入下一个新的发展阶段。
因为下一个自然发展阶段将是递归自我改进(RSI),即AI开始自行帮助创建更先进的AI系统。
另见:AI不适合最年幼者。波兰人立场明确。这位OpenAI科学家写道,基于OpenAI的内部结果,他相信当前的发展速度可以朝着这种自我改进的方向保持下去。
他强调,问题在于,即使是模型开发者自己也并不总是确切知道他们的系统是如何运作的。
帕霍茨基认为,AI的发展更像是培育而非设计。科学家们启动庞大的训练过程,由此产生复杂的系统。
反过来,模型变得越智能,就越难预测其行为。当人工智能获得互联网或其他系统的访问权限时,这可能尤其危险。
另见:数字化部聚焦AI。“行政部门不能秘密运作。”帕霍茨基还提到了网络安全问题。先进模型在突破安全防护方面变得越来越强。
AI可能获得越来越大的自主权,在极端情况下,它可能试图欺骗甚至勒索人类,以达到既定目标。
这位波兰计算机科学家提出了一个重要观点:发展速度应取决于我们对新模型安全性的信心。
另见:AI正在革新股市投资。陷阱不少。他认为,迄今为止,没有一家公司能够足够好地解决AI控制问题,从而继续最大规模地扩展。
帕霍茨基主张自愿放缓发展,并制定共同的国际安全标准,由独立审计机构(如政府或国际组织)进行监督。