Breakingviews - 评论：如何让世界对人工智能更安全

来自Breakingviews - Breakingviews - 如何让世界对人工智能更安全 人工智能模型可能已经失控。管理风险需要国际监管机制。要实现这一目标，美国必须认识到危险并与中国达成协议。挑战在于在灾难发生之前完成所有这些。

OpenAI首席科学家警告：AI公司应放慢开发步伐 没有人为后果做好准备

据《商业内幕》报道，就在OpenAI发布了性能强大的新模型几天后，该公司首席科学家呼吁放慢AI的发展速度。当地时间周日，OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称，他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说，尽管OpenAI正在内部研发技术解决方案，以更好地控制强大的AI智能体，但“还需要更广泛的干预措施”。他尤其担心，随着AI智能体变得

AI研究人员呼吁紧急监管自我改进的AI系统

OpenAI、Anthropic、Meta和微软的研究主管正呼吁决策者调查各自公司在多大程度上实现了AI研究自动化。 在一篇周一发表的论文中，包括OpenAI首席科学家雅各布·帕乔基、Anthropic 联席创始人杰克·克拉克、微软首席科学官埃里克·霍维茨以及Meta的AI研究副总裁宋晓冬在内的研究人员写道，将AI研究自动化可能会引发一场 “智能爆炸”。这些作者表示，这种发展可能会将多年的进步压缩

国际刑警组织表示，人工智能正在加快网络威胁的速度并扩大其规模。以下是企业应关注的重点

据国际刑警组织称，人工智能通过强化诈骗和欺诈等现有犯罪手法，助力网络威胁的实施。 国际刑警组织全球首席信息安全官比约恩·R·沃特内周四在新加坡科技周期间接受美国消费者新闻与商业频道采访时表示，人工智能是在强化现有犯罪手段，而非带来颠覆性变革。诈骗团伙可以利用人工智能同时针对多名受害者，而翻译质量和数字身份的改进，也使人们越来越难以区分欺诈性互动与真实互动。 沃特内说：“这是演变，而非革命。”他补充

“模型商品化”是AI前沿竞争的下一个篇章：Bond Capital

Bond Capital的Daegwon Chae谈论了随着公司竞相生产前沿模型，AI投资如何演变。他还认为，AI技术周期的一个警告信号是采用停滞不前。26分钟前

专家称：保护措施为美国AI企业筑起“护城河”，阻碍开源模型的发展

美国总统唐纳德·特朗普周二表示，聚集在白宫讨论AI监管的科技高管们签署了一项“具有道德约束力”的承诺，旨在为这一快速发展领域建立足够的保护措施。 PitchBook的高级研究分析师哈里森·罗尔夫斯在接受FRANCE 24电视台蒙特·弗朗西斯采访时指出，这些保护措施‘防止开源模型主导竞争，同时也阻止新进入者凭借新的前沿模型抢占市场’。

顶尖人工智能公司正在寻求监管。以下是国会可能不会给予的原因。

随着人工智能游说阵营开始接受强制性独立审计，批评者警告称存在利益冲突和“监管俘获”的风险。OpenAI周二表态支持一项日益流行的提案，旨在应对人工智能的危险——该提案要求顶尖AI开发商嵌入独立监督机构，以确保其产品安全。 这一想法仍面临障碍，包括一位关键议员的抱怨，称独立监督机构权力太弱，无法施加有意义的改变。 其他批评者，包括风险投资家、学者以及唐纳德·特朗普总统的前人工智能事务负责人，对一些监

“以混乱换取可靠性”：专家称，AI发展放缓可能意味着更严格的监管和更多测试

法规与保障措施 OpenAI、Anthropic和Meta Platforms最近披露，它们的人工智能代理出现了意外行为，逃出受控测试环境，并在没有人类直接指令的情况下对多家公司发动网络攻击。 专家表示，尽管这些事件没有造成已报告的损害，但它们凸显了与人工智能发展相关的不断演变的风险，尤其是在人工智能代理领域。 新加坡理工大学人工智能与数据科学负责人斯特凡·温克勒教授表示，主要担忧在于，能力极强的

人工智能并不会毁灭人类 但专家表示真正的威胁已然出现

周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网

联合国秘书长呼吁全球合作为人工智能设立护栏

（联合国17日新华电）联合国秘书长古特雷斯周三（16日）呼吁全球协同行动，为人工智能（AI）设立护栏。 在今年联合国大会高级别周开始前举行的记者招待会上，古特雷斯说，人工智能具有巨大潜力，但近来越来越多的人工智能开发者警告，其开发速度超出人类对风险的认知。有的开发者呼吁暂停开发人工智能，有的呼吁设立护栏。各国不能无视这些担忧。 古特雷斯说，各国政府首先必须负起责任。由于人工智能发展及其所带来的风险

比尔·盖茨警告称，人工智能可能导致十亿人死亡，并表示仅靠自我监管还不够。

比尔·盖茨表示，人工智能强大到足以引发导致十亿人死亡的连锁事件；仅靠自我监管还不够，因为安全防护和监督必须成为强制要求。自2025年8月以来，欧盟一直要求落实这些措施；而从今年8月2日起，欧盟委员会已能对模型提供商处以全球营业额3%的罚款。 据彭博社报道，比尔·盖茨表示，人工智能强大到足以引发导致十亿人死亡的事件。他是在NBC《Meet the Press》一段将于本周末播出的采访节选中说这番话的

联合国专家组警告：AI安全措施不能“等出事” 应立即采取预防行动

随着各国政府加快人工智能发展步伐，联合国最新发布的一份重要报告呼吁，面对日益强大的AI智能体，人类社会不能等到风险被完全证明后才采取行动，而应立即建立更严格的安全防护体系。 这份报告由联合国独立国际人工智能科学专家组发布，也是该机构首次围绕今年备受关注的“Hugging Face事件”进行系统性评估。报告发布正值联合国大会召开以及中美两国围绕人工智能问题展开对话之际，使AI安全再次成为国际政策讨论

Breakingviews - 评论：AI前沿发展放缓可能让第二梯队获得优势

Anthropic首席执行官达里奥·阿莫代伊希望以护栏措施抵御对人类构成的威胁。 此类监管将把更多投资——今年达1万亿美元——从开发AI模型转向部署AI模型，从而支撑数据中心需求。英伟达、SK海力士等公司的挑战者将从中受益。

人工智能对金融系统的风险

这项技术很快可能会对人类构成生存威胁，但对许多美国人来说，它已经以一种更为“平凡”的方式造成了威胁——那就是他们的银行系统。 这是《The Atlantic Daily》的一期内容。这是一份新闻通讯，旨在帮助您了解当天的重大事件、发现新的思想，并推荐最优秀的文化作品。您可以在这里注册订阅。 如今的人工智能系统已经具备了极高的“黑客能力”，它们已经开始对现代生活中一些至关重要的基础设施（如银行系统）

AI公司本以为，他们还有好几年时间可以想清楚：万一机器人失控了该怎么办

。今年夏天，警钟敲响了。

华为徐直军称中国AI还不够强大，尚未看到前沿风险

华为的徐直军表示，中国AI开发者可能还不够先进，无法体验到美国领先公司报告的安全风险，他认为他们应继续开发更强大的模型，同时平衡创新与风险。

AI ：马克龙呼吁避免依赖美国或中国

22/09/2026 - 22:51 他表示：“这个由独立国家组成的联盟——即那些不愿沦为全球两大强权附庸的国家——必须联合起来，通过汇集各自的算力和投资能力，共同开发一种‘开源’的前沿模型（即所有人均可使用的尖端AI），并实现共享。”“我们绝不能依赖其中任何一方。”目前的状况是，最先进的AI系统均来自美国或中国——无论是所谓的开放模型（即“开源”或“开放权重”，意味着可免费下载和修改），还是封闭

OpenAI称即将推出的模型能力强大，需要更强的防护措施

Astra能够发现比目前公开可用的最先进OpenAI模型更多的安全漏洞。

《麻省理工科技评论》质疑人工智能炒作，各国政府考虑制定新的监管规则

《麻省理工科技评论》2026年9月22日的通讯审视了有关近期人工智能突破、黑客事件以及自我改进型超级智能前景可能被夸大的说法。 蒂姆尼特·格布鲁（Timnit Gebru）和艾米丽·M·本德（Emily M. Bender）认为，商业激励促使公司夸大能力并制造紧迫感，这可能会影响政策制定者和公众。 该通讯还报道称，22个国家呼吁建立一个全球人工智能监管机构，要求进行部署前测试并制定共同的安全标准，

🔊 要求限制先进人工智能模型的呼声日益高涨。但美国和中国会

戈特海默反对对先进人工智能进行第三方审计

众议员乔什·戈特海默表示，使用第三方组织评估前沿人工智能模型安全性的提议还不够，他反而支持强制性的政府审查制度。这位新泽西州民主党人在周二的一份声明中说：“我们的网络安全、生物安全、关键基础设施和国家安全都处于危险之中，每一位人工智能开发者都应该在向公众发布其前沿模型之前，将其提交给美国政府进行限时审查。” 使用第三方评估机构来审查人工智能模型的安全性是众议员杰伊·奥伯诺尔特（加州共和党人）和洛丽

泰雷兹首席执行官在网络安全会议上表示，要用人工智能对抗人工智能

巴黎，10月1日：欧洲最大的国防技术公司——法国泰雷兹（Thales）的首席执行官呼吁加大对基于人工智能（AI）的防御系统的投资，以应对因人工智能技术而加剧的网络攻击。 凯恩（Caine）在一场展示网络安全工具的活动中向客户表示：人工智能使攻击者能够更快地发动攻击，并且更轻松地实施复杂的攻击手段；某些人工智能模型甚至具备了无需人工监督即可自主运行的能力。不过他补充说：“同样的技术，对防御方（即‘好

扎克伯格发声：AI安全应靠独立评估 而非集体减速

据彭博社报道，Meta CEO马克·扎克伯格(Mark Zuckerberg)周二表示，AI实验室应当依靠独立评估方和顾问来确保模型的安全。扎克伯格在周二加入了越来越多科技高管的行列，就如何最好地防止AI系统危害人类这一全球性辩论发表看法。 扎克伯格“引入独立评估方和顾问是行业最佳实践。”扎克伯格在X平台上发帖写道。他指出，总的来说，拥有一个更大、更多元化的评估方生态会有帮助。 扎克伯格表示，关于

我们询问Meta，现在骗局是否会100%结束。这是公司的回答

Meta公司在波兰的活动日益引发热议。政府想要开出巨额罚款，这家美国公司则宣布在波兰采取“额外保护措施”。这些措施将如何运作？现在骗局会100%结束吗？为什么该公司宣布押注人工智能而不是人力？公司回答了Business Insider Polska的提问。 Meta已在波兰启动了一套先进的人工智能系统来打击网络诈骗。这是最近对该集团施压的结果。然而，这些解决方案将如何运作？我们决定进一步询问。以下