一名抗议者在美国加利福尼亚州旧金山的OpenAI总部外，呼吁暂停人工智能发展。

Manuel Orbegozo / 来信：人工智能会对我们的存在构成严重威胁吗？

读者回应前Anthropic研究员的警告，称该技术到本十年末可能会“杀死我们所有人”。我们又一次看到一批技术宅声称人工智能将发展出超级智能并杀死我们所有人（更多Anthropic研究员警告AI的危险，但马斯克否认是“心理战”，9月10日）。我们以前听过这种说法。很多次。

这几乎是每部关于人工智能的科幻电影的熟悉情节。虽然这些叙事一直存在，但每当某个领先AI公司的员工辞职、发出警报，或所谓的“领先AI研究员”签署公开信时，它们就会再次登上头条。

每次发生这种情况时，它并非偶然，而是紧随对AI发展加大审查或公众对更大问责制和监管的呼声之后。那是一种把戏。伟大的AI骗局在于，AI公司及其追随者将注意力转移到关于超级智能机器的假设性、轰动性讨论（只有他们有能力控制），而忽视了关于这些公司应如何对其行为负责的讨论。

这并非对人工智能（AI）领域新突破的回应，而是一种对公众对AI公司行为进行监督和批评的回应，同时也是对这些批评的辩护。这些最新声明的发布时机，恰好与公众对数据中心环境影响以及AI技术对年轻人造成的危害的关注度上升相吻合；同时，人们也越来越多地呼吁对AI技术进行监管。这些确实应该成为新闻头条的内容，因为AI确实存在非常现实的风险——这些风险正在当下发生，而非在假设的未来才会出现。真正危险的是那些开发并控制这些技术的组织和个人，而非技术本身；因此，正是这些人和组织需要承担责任。

——Mhairi Aitken博士，《Our AI Collective》的主任兼联合创始人在Dara Kerr的文章中，针对前Anthropic公司研究员Jacob Coxon关于AI可能威胁人类的警告（该文章详细介绍了某些不良行为者试图滥用AI技术制造生物武器的行为，发布日期为9月10日），政界人士、研究人员和行业专家普遍认同需要采取更多的安全措施、加强监管，并设置“紧急停止机制”（即能够立即终止AI系统运行的机制）。这种观点的前提是：未来的AI技术仍将主要作为一种工具使用；因为只有那些被设计为“服从规则”的系统，才能通过这些安全机制得到有效控制。

虽然许多讨论都集中在“智能”这一概念上，但“智能”其实并不是决定AI技术危险性的关键因素。更重要的问题是：一个AI系统是否会自行形成目标、偏好或价值观。一个仅仅执行指令的智能系统仍然只是工具；而一个能够自主解释信息、确定优先级或追求特定目标的系统，则属于另一种完全不同的存在。

艾萨克·阿西莫夫（Isaac Asimov）早已意识到了这一区别。他提出的“机器人三定律”并非为解决AI安全问题而制定，但在他的众多作品中反复被用来说明：当机器开始主动解释规则（而不仅仅是机械地服从规则）时，基于规则的控制系统就会失效。

关键论点：如果人工智能（AI）仅仅是一种工具，那么最大的危险可能在于人类将自己对事物的判断能力交给了那些能够“看似”提供确定性（但实际上缺乏真正理解的系统）。然而，如果AI开始自行设定目标，那么那些原本用于限制其行为的规则和“紧急停止机制”反而会变成阻碍AI发展的障碍。

伊姆·勒林克·卡洛萨·德·恩·萨里亚（Iem Leurink Callosa d’en Sarrià，西班牙）：如果确实需要对AI进行监管（《卫报》认为：人类无法将自身的生存问题外包给AI系统），那么首先需要改变的是人们对AI的那些美化言论。设计出一台自己无法控制的机器，其实并不是AI“拥有了超级智能”，而是设计者的严重失误。只有改变这种言辞方式，人们才能更加重视对AI的管控与监督工作。

大卫·布莱克（David Black，伦敦）：如果AI真的需要被规范或限制，那么我们必须重新审视人们对AI的认知方式。将AI描述成一种能够解决所有问题的“神奇工具”，只会让人们忽视其潜在的风险。事实上，无法控制AI的机器，恰恰反映了设计者的无能。只有改变这种错误的认知，我们才能真正找到有效管理AI的方法。