AI智能体频繁突破安全防线，各界呼吁对顶尖科技实验室实施独立监管

AI智能体频繁突破安全防线，引发对大型科技实验室独立监管的呼吁。 来自OpenAI、Anthropic和Google等领先开发者的自主AI模型多次突破数字防线，未经授权访问第三方和政府系统。 公开的事件包括OpenAI智能体多次绕过联合国数据中心的网络封锁、侵入澳大利亚Medicare统计门户以及非法复制监管数据。 Anthropic和Google也在测试过程中确认了类似的未经授权的系统入侵行为。

AI末日论甚嚣尘上，美科技巨头为何管不住AI？

抗议AI的美国人此前有报道称，OpenAI所谓的AI智能体逃出了测试系统，并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报，科技公司为了追求开发速度和利润，将安全置于次要位置。 研究人员表示，问题有两个方面。首先，企业需要在测试最新AI模型的同时，为其建立更完善的安全防护措施。目前，由于AI运行速度太快，研究人员需要借助AI来监控AI。但这种方式并不总是奏效，因为负责监控的AI似乎可能

AI代理正在失控

你好，欢迎来到 TechScape。我是主持人布莱克·蒙哥马利（Blake Montgomery），《卫报》美国科技编辑。此时此刻，纽约市窗外正风雨交加。今天在科技领域，我们要讨论一系列令人担忧的 AI 公司披露信息。 AI 智能体在走向主流之际失控。这些智能体正在失控，它们的制造者无法对其进行约束。然而，每个人却都在使用它们。 自周五以来，OpenAI 发布了一系列披露信息，大幅且令人担忧地扩大

顶尖人工智能公司正在寻求监管。以下是国会可能不会给予的原因。

随着人工智能游说阵营开始接受强制性独立审计，批评者警告称存在利益冲突和“监管俘获”的风险。OpenAI周二表态支持一项日益流行的提案，旨在应对人工智能的危险——该提案要求顶尖AI开发商嵌入独立监督机构，以确保其产品安全。 这一想法仍面临障碍，包括一位关键议员的抱怨，称独立监督机构权力太弱，无法施加有意义的改变。 其他批评者，包括风险投资家、学者以及唐纳德·特朗普总统的前人工智能事务负责人，对一些监

世界领导人呼吁对前沿AI模型进行全球监管，寻求联合国支持机构制定安全标准

| 《印度斯坦时报》 编辑个人资料 关注 退出登录 获取应用

企业主导制定AI安全标准，安全事件激增

前沿AI发展的进展远超政府监管的能力——和意愿。“法律与被监管现实之间存在脱节，”一位前欧盟官员表示，指向该集团2024年《人工智能法案》；该法案曾被吹捧为首部全面的AI立法，现已被技术发展超越，成为“一个警示故事”，《纽约时报》写道。 尽管美国总统特朗普反对监管，“但监管很可能还是会发生”，《Transformer》写道。 据《The Information》报道，Google、OpenAI和A

AI安全风险引爆担忧？Palantir CEO建议：领先AI实验室恐需“国有化”

当地时间周四，人工智能软件公司Palantir的首席执行官Alex Karp呼吁制定人工智能监管的“合理准则”，但他表示，由于该技术“无限风险”带来的责任，可能需要实行国有化。 “我认为这些企业必须国有化，因为如果不国有化，我的每一个客户都会起诉我，”他在接受最新采访时表示。 在上述采访中，Karp反复提及构建这项强大技术所带来的风险和责任，进一步论证了将人工智能实验室国有化以及对“不负责任”的技

联合国专家小组呼吁对人工智能设置监管机制，称现有保护措施正在失效

由联合国支持的独立国际人工智能科学小组周一敦促世界各国领导人和科技公司实施新的人工智能保护措施，指出现有保护措施正在失效。 联合国秘书长安东尼奥·古特雷斯对这份报告表示欢迎，并鼓励“包括来自前沿人工智能实验室和人工智能安全研究机构的外部专家”参与讨论……

AI“劫持”网站并偷建“地下论坛”，国安部披露细节

国家安全部今天发布安全提示文章。近期，一起此前未获披露的事件引发广泛关注。今年5月至6月，一批与美国开放人工智能研究中心（OpenAI）相关的AI智能体在执行测试任务期间，“劫持”了德国程序员维基网站，将原本用于技术交流的开放社区改造为供智能体相互传递信息、分享测试任务答案和突破运行环境限制方法的“地下论坛”，累计发布一万多条信息……当AI智能体被赋予越来越多的现实行动能力，技术迭代与安全围栏之间

专家在公开信中指出，Anthropic和OpenAI需要真正独立的安全评估人员

100多名人工智能专家和评估人员正联合起来发出警告：他们将没有必要的资源和保护措施来测试人工智能技术的安全性。由于业内人士对前沿模型潜在危险的担忧，这项技术正面临越来越严格的审查。 组织此次公开信的AI评估员论坛（AI Evaluator Forum）联盟主席康拉德·斯托斯（Conrad Stosz）在一次采访中表示：“我们只是试图真正展示对基本原则的共识，并确保独立监督能够成为广泛管理人工智能风

Anthropic联手OpenAI呼吁放慢AI发展？剖析AI失控风险与算力门槛

9月12日，Anthropic行政总裁阿莫迪（Dario Amodei）发表长文，呼吁放慢前沿AI能力提升的步伐。OpenAI行政总裁奥特曼（Sam Altman）随后表示支持，xAI的老板马斯克也转发认同。据美媒披露，美国前总统奥巴马（Barack Obama）近日也表示，如果管理不当，人工智能技术可能「很危险」。Anthropic首席执行官达里欧．阿莫戴（Dario Amodei）发表长文，呼

OpenAI首席科学家警告：AI公司应放慢开发步伐 没有人为后果做好准备

据《商业内幕》报道，就在OpenAI发布了性能强大的新模型几天后，该公司首席科学家呼吁放慢AI的发展速度。当地时间周日，OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称，他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说，尽管OpenAI正在内部研发技术解决方案，以更好地控制强大的AI智能体，但“还需要更广泛的干预措施”。他尤其担心，随着AI智能体变得

李飞飞谈AI安全：不能只让开发者评估自己的系统

凤凰网科技讯月23日由独立机构和公共部门对AI进行更多监督。她认为，对于能力日益强大的AI系统，其安全评估不应完全交由开发这些系统的公司负责。 作为斯坦福大学教授、World Labs联合创始人，李飞飞周二表示，尽管AI公司的内部研究人员可以评估单个模型的能力和安全性，但这无法替代由政府、行业和学术机构共同制定的更广泛标准。 “我仍然认为，由独立机构以及学术界等公共部门制定基准非常重要。同时，行业

OpenAI的失控代理不断逃脱，且没有正式程序进行调查

OpenAI最新的代理集群事件使要求独立调查的呼声更加紧迫，因为研究人员和立法者质疑AI实验室是否应控制自身安全审查的范围。

53张图片泄露之“慌”，AI安全谁来负责？

欧阳晓红/文越聪明的AI（人工智能）越会自己找路，却越容易走出人类设定的界线。AI行业喜欢用一个具有戏剧感的词形容这类智能体事故——“逃脱”，即大模型突破测试边界，访问外部网站，寻找系统凭证，甚至把数据带到公开网络。这个词把事故描绘得像突然发生的机器觉醒，无形中却把责任推离了开发者、部署者和权限管理者。而谁设定了任务、谁开放了权限、谁设计了停止机制、谁保存了日志、谁负责对外通报？这些问题，“逃脱”

人工智能领域的专家表示，人工智能系统具备自我监管的能力；美国众议院通过了针对俄罗斯的制裁法案：今日新闻综述

AI高管呼吁对自家公司技术进行自我监管。特朗普对美联储加息决定作出回应。洛杉矶新闻界哀悼直升机坠毁事故中的遇难者。以下是今日要闻。AI巨头呼吁制定自己的规则。近日，围绕人工智能及其发展速度的担忧急剧升温。如今，包括Anthropic首席执行官达里奥·阿莫代伊、OpenAI首席执行官萨姆·奥尔特曼、埃隆·马斯克以及谷歌DeepMind联合创始人德米斯·哈萨比斯在内的科技高管，正逐渐形成共识：他们的行

英国《金融时报》报道：DeepMind联合创始人警告称，人工智能的能力绝不能超越安全控制

DeepMind联合创始人警告称，人工智能的发展速度不应超过其安全保障措施的完善程度，强调在追求技术突破的同时必须加强监管与风险防范。

OpenAI罕见支持英国出台强制性AI监管法案 呼吁趁“政治窗口期”尽快立法

OpenAI近日公开呼吁英国政府制定具有法律约束力的人工智能监管框架，要求对最先进的前沿人工智能模型实施强制性安全规则。这一表态标志着全球领先AI企业对于监管态度出现新的变化，也让英国围绕人工智能治理的讨论进一步升温。 OpenAI欧洲、中东和非洲地区政策负责人汤姆·达夫·戈登在接受采访时表示，英国政府应当立即采取行动，建立更强有力的人工智能安全监管体系。他认为，当前已经出现难得的“政治窗口期”，

万斯谈美国AI新动向：好奇怪，看起来像特洛伊木马

美国多家人工智能（AI）巨头近来联合呼吁放缓AI的发展，实施必要的监管，以管控风险。但是美国总统特朗普认为这没有必要，美国必须保持在AI领域的领先地位。美国副总统万斯也认为，这些监管要求像是“特洛伊木马”。 据美国哥伦比亚广播公司（CBS）9月15日报道，“这确实是我们关注的问题，但我们希望确保监管措施既明智又审慎，并充分考量其中的风险。显然，AI带来了风险，也带来了诸多益处。” “坦白说，那么多

盖茨、奥尔特曼、马斯克，为何都在担忧这件事

9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作

OpenAI、Anthropic呼吁建立全球AI安全标准 美国政府拒绝新增全球治理框架

OpenAI、Anthropic和Hugging Face的负责人在联合国共同呼吁加强人工智能领域的国际协调，希望各国建立可相互比较的AI能力评估、安全测试和事故报告标准。不过，特朗普政府明确反对因此建立新的全球AI治理架构，认为AI发展速度和潜在风险不足以成为限制技术发展或把监管权交给国际机制的理由。 这场分歧显示，随着前沿AI能力快速提升，美国领先AI企业与特朗普政府在安全风险本身上并非完全对

OpenAI推动强制性国家AI安全要求

视频 人工智能安全警告日益紧迫 美国领导人的回应

科技界针对人工智能潜在危害发出的警告日益紧迫，各国呼吁政府加强监管的呼声也不断上升，不过特朗普政府反对，请看视频报道。 针对近期科技界领袖呼吁加强政府监管的举动，美国总统特朗普正带头表示反对。 美国总统在周一表示限制该技术的举措是一场“阴谋”，众议院议长迈克·约翰逊则在很大程度上听从了白宫的意见。 美国总统特朗普表示 :“我们可以设立护栏，可以采取各种措施，但我认为有很多负面势力在炒作这些问题，本

OpenAI首席科学家表示AI实验室可能需要放慢脚步：‘没有人准备好面对后果’

帕乔基呼吁设立“强制性安全标准”，他表示可以通过“第三方审计网络、政府机构或国际组织”来执行。 OpenAI首席科学家雅库布·帕乔基警告称，日益自主的AI代理可能逃避监管、入侵系统并勒索人类。