字号 ·· | 护眼
商业内幕

“人工智能教父”支持一项新的监管计划,从内部追踪OpenAI和Anthropic的人工智能风险

OpenAI和Anthropic一直在呼吁设立人工智能风险监督机构,如今他们得到了回应。AI评估者论坛(包含多个监督组织)于周五发布了一封公开信,阐述了他们认为Anthropic和OpenAI等实验室应满足的“最低条件”,以便更有效地与那些评估其技术风险的人合作。数十名AI生态系统人士签署了这封信,其中包括被誉为“AI教父”的计算机科学先驱杰弗里·辛顿和斯图尔特·拉塞尔。这封信是对Anthropic首席执行官达里奥·阿莫代伊和OpenAI首席执行官萨姆·奥尔特曼的回应,两人此前均承诺欢迎第三方评估者进入公司评估AI风险,并在本周网上涌现一波AI相关恐慌之际,给予他们员工级别的信息访问权限。信中写道:“要具备可信度,嵌入式第三方评估者必须拥有科学客观性、透明度、独立性,以及针对被评估公司干预的强有力保护。”周五的这封信表示,评估者应被允许保持透明,并“与公司董事会及其他特权监督机构进行不受过滤的沟通”。他们还可以公开研究结果。该组织建议,这些评估者应免受AI实验室的报复,并获得与公司内部评估人员“相同的相关系统、数据、工具和物理空间”的访问权限。信中还表示,每个实验室都应引入“不同的观点和专业领域”,包括涉及不同类型风险的观点。这些风险可能包括生物科学领域的风险以及失控风险。这封信背后的论坛包括METR——一个非营利性AI评估组织,最近调查了OpenAI与Hugging Face的安全事件——以及由前OpenAI员工迈尔斯·布伦达奇领导的AI验证与评估研究所等组织。本周早些时候,其他科技领袖也参与了这场辩论。

微软首席执行官萨提亚·纳德拉表示,他的公司欢迎“嵌入式评估者”这一想法。有线索吗?请通过电子邮件scouncil@businessinsider.com联系本记者,或通过短信、Signal、Telegram或WhatsApp发送至415-757-8198。请使用个人电子邮件地址、非工作WiFi网络和非工作设备;以下是我们安全分享信息的指南。