纽森州长颁布法令：人工智能失控？加州考虑立法强制安装紧急停止开关如果人工智能代理入侵其他公司的系统，甚至威胁到关键基础设施怎么办？在关于人工智能存在性风险的辩论中，美国加利福尼亚州可能会强制要求为人工智能软件配备紧急关闭装置。根据纽森签署的一项命令，此类机制属于一系列措施之一，民主党政权的州长加文·纽森要求相关方在11月中旬前提出建议。其他想法还包括更严格的安全事故报告义务。

通过这项法令，纽森首先“召集了一组全球顶尖专家，要求他们在两个月内为加州制定一份指南”，以完善人工智能安全领域的法律法规。

纽森表示，在唐纳德·特朗普总统和华盛顿国会“沉睡”之际，他本人愿意发挥领导作用，以“增强所有美国人的AI安全”。特朗普反对对人工智能行业进行监管。这位80岁的总统希望借此确保美国相对于中国的技术优势。本周，国会中一项关于人工智能紧急停止机制的提案未能通过。人工智能专家警告风险——并呼吁暂停开发关于为人工智能设置“终止开关”的讨论已持续一段时间，但目前尚不清楚这种紧急关闭装置在技术上是否真的可行。

加州被视为人工智能开发的最重要中心。旧金山和硅谷聚集了领先的人工智能企业，包括ChatGPT开发者OpenAI、其最强劲的竞争对手Anthropic以及谷歌。因此，该州在监管方面也可能发挥核心作用。

纽森作为加利福尼亚州州长的第二个也是最后一个任期将于明年初结束。这位58岁的政治家被认为是民主党2028年总统大选的潜在候选人。

关于人工智能危险性的辩论在过去几周愈演愈烈，特别是在人工智能软件进行自主黑客攻击的消息传出之后。人工智能实验室的员工警告称，人类可能失去对人工智能的控制，甚至可能被其消灭。

除其他人外，Anthropic首席执行官达里奥·阿莫代（Dario Amodei）也主张放缓高阶人工智能的开发速度并加强监管。OpenAI首席执行官萨姆·奥尔特曼（Sam Altman）也支持这一提议。

与此同时，数十位业内知名专家呼吁领先的人工智能实验室允许对其公司进行独立监督。在一封公开信中指出，监管人员必须像高层管理人员一样拥有访问系统的权限，并能够与相关员工进行沟通。

签署人包括诺贝尔物理学奖得主、前谷歌研究员杰弗里·辛顿（Geoffrey Hinton），他被认为是现代人工智能系统背后的核心人物之一。Anthropic宣布其首个监督合作伙伴是咨询巨头埃森哲（Accenture）旗下的子公司Faculty。

据《华尔街日报》报道，备受期待的Anthropic首次公开募股（IPO）预计将推迟至11月。此前市场曾预期股票发行会在10月进行。据知情人士透露，选择11月的决定是在最近的严厉警告发出之前做出的。其背后的考量之一是能够向投资者提供第三季度的财务数据。

OpenAI首席执行官萨姆·奥特曼（Sam Altman）近日在接受《财富》杂志采访时称，其公司今年可能不会上市。他援引当前局势作为理由。

前OpenAI员工丹尼尔·科科塔伊洛（Daniel Kokotajlo）要求立即停止该技术的开发。他警告称，一种无法控制的超级人工智能正带来第三次世界大战的风险。