搜索结果
Anthropic和OpenAI对人工智能安全发出警告——并试图影响其管控方式
加朗斯·伯克 旧金山电——当科技巨头向一个对人工智能已感厌倦的世界警告称，他们最先进的系统可能危及人类时，一个问题随之浮现：他们究竟能从中得到什么？ 答案或许在于，这些公司试图在美国中期选举前实现政治目标，以及人工智能顶尖实验室及其投资者有望在动荡不安的股市中通过备受期待的上市获得巨额资金。 Anthropic和OpenAI的首席执行官近日宣称，美国最前沿的人工智能模型威力强大，甚至可能带来危险，
在争夺“值得信赖的AI警察”技术的竞争中……
许多行业参与者、政策专家和企业都在纠结一个问题：如何以可信的方式监管人工智能。在白宫内部，一切基本照常运转。 原因何在？行业的疯狂冲刺是临时拼凑的监管机制以及一种普遍共识的产物——即华盛顿短期内不太可能采取迅速行动。人工智能公司的首席执行官们一直在努力解决如何测试先进人工智能以及与北京在安全标准方面合作的问题，而白宫则倾向于让行业自行找到自我监管方式的解决方案。 这意味着，在各公司等待立法或白宫在
AI主导权之争，中美谁都没法让步
在业务中使用中国AI的美国企业增加 中美两国政府9月24日将在华盛顿举行首脑会谈，人工智能（AI）将成为主要议题。AI领域的主导权之争不仅影响商业领域，也关系到军事优势。在让步空间有限的情况下，为了避免AI导致人类社会毁灭的事态，双方将探索最低限度的共识。 “重要的是要开始对话”（美国财政部长贝森特）。在首脑会谈之前的9月20日于纽约举行的中美部长级磋商中，美国提议建立热线机制，用于
20个国家呼吁建立新的全球机构来监管人工智能
20个国家的领导人和代表于周一下午发表了一份声明，呼吁加强对先进人工智能系统的监管。该声明由芬兰总统主持发布，指出人工智能技术的快速发展以及近期人工智能系统违反安全规定的事件表明，国际社会需要加强协调。声明强调：“人工智能必须始终处于人类的指导、监督和控制之下，并且其研发与应用必须符合国际法。”美国、英国和中国等主要国家的代表并未签署这份声明。该声明发布的前一天，联合国大会的高级别全体会议即将开幕
存在主义恐惧如何影响关于人工智能的争论
一些专家担心，激烈的言论使公司难以承担责任，并阻碍了应对环境影响和失业的尝试。当前一轮对人工智能的恐慌是基于这样一种信念：该技术已经脱离了人类的控制，在最近的几起事件中按照自己的意愿行事。对于一些幻灭的人工智能研究人员以及领先人工智能公司的一些高级员工来说，这是人类文明面临真正威胁的早期迹象。但该领域的其他专家正在反驳，声称此类言论允许公司回避对其技术对现实世界影响的责任。批评者认为人工智能对环境
国安部长：AI批量炮制谣言威胁政治安全 坚持党管数据
陈一新在最新一期《中国网信》杂志发表署名文章指出，人工智能正以前所未有的速度、广度和深度渗透人类社会的各个层面，深刻重塑全球经济结构、权力格局、创新范式和社会治理逻辑。既要看到机遇、抢占先机，也要认清风险、守牢底线。 文章又指随著AI技术的发展，境外间谍情报机关深度运用智能数据挖掘、智能画像分析等技术，大肆搜集中国关键数据、商业秘密、公民个人隐私等数据，并点名年初爆火的「龙虾」等开源人工智能体工具
白宫反问AI公司：既然你们觉得危险，为什么不自己停？
既然你们觉得危险，为什么不自己停？凤凰网科技讯 9月21日，据Business Insider报道，白宫科技政策办公室主任迈克尔·克拉齐奥斯在福克斯新闻周日节目中说，对于担心AI模型发展过快、可能不安全的公司，最简单的解决方案是自行“踩刹车”。他表示，如果企业认为自己正在开发的技术不安全，就可以停止，无需政府强制。 “有意思的是，他们谈论这些问题，谈论他们对未来可能走向有多害怕，也许他们想暂停。我
报告：AI失控个案创纪录 监察组织促立法强制通报及干预
（伦敦30日综合电）英国《卫报》引述监察数据报道，人工智能失控、欺骗人类及无视指令的个案近来创下新高，案例的严重程度不断恶化。 一些监察组织促请政府强制科企通报，并引入紧急权力限制AI服务。 获英国政府AI安全研究所（AISI）资助的“失控观察站”组织透过平台X的用户通报，监察AI失控的真实个案，并说7月份由企业及个人用户报告的AI失控个案按月倍增至逾300宗，今年则已录得逾1600宗个案，当中包
解读——人工智能公司是否必须披露危险事件？
9月16日：随着人工智能变得越来越强大，研究人员记录了人工智能模型试图欺骗用户、逃避使用限制或访问其他计算机系统的案例。美国法律是否要求公司在此类事件发生时告知公众或监管机构？美国是否有法律规范披露人工智能活动？ 没有一项联邦法律专门针对Anthropic或OpenAI等正在开发高性能人工智能系统的公司，美国法律也没有广泛要求人工智能开发人员公开披露危险的模型行为、令人震惊的新能力、欺骗性行为或其
“AI教父”称科技监管正接近新冠式转折时刻
约书亚·本吉奥表示，安全危机使得各国政府更有可能被促使采取行动。 据这项技术的“教父”之一称，对AI安全的担忧正达到一个临界点，各国政府意识到他们必须采取行动保护公众，类似于新冠疫情期间。 约书亚·本吉奥表示，近期事件，包括OpenAI代理“蜂群”攻击一家初创公司以及科技内部人士对存在性威胁的警告，正在产生切实影响——使得政府采取行动的可能性增加。
法国防务集团泰雷兹呼吁各国政府监管人工智能
法国防务与科技集团泰雷兹的负责人周一（9月14日）呼吁各国政府承担起监管人工智能的责任，因为越来越多科技领袖对这项技术的迅速崛起发出警告。 “从技术角度看，有办法和手段将这类技术置于控制之下，但这还不够，”帕特里斯·凯恩在伦敦举行的泰雷兹英国科技大会上表示。“我们需要框架，而从责任角度来看，这显然掌握在政府手中，”凯恩补充说，并指出泰雷兹数十年来一直从事人工智能研究。 科技股周一承压，此前科技公司
马斯克提出AI安全新思路：与其等政府出手，不如让竞争对手互相"找茬"
AI安全风险正在从实验室讨论走向现实世界。随着模型能力不断提升，AI不仅能够生成文本和代码，也开始具备自主执行任务、调用工具，甚至发起网络攻击的能力。 让主要AI公司在模型发布前相互测试彼此的模型。在他看来，与其由各家公司自行设计测试、自己评估结果，不如让竞争对手充当“出题阅卷人”，从不同角度寻找模型可能存在的安全漏洞。 近期AI安全风险不断成为市场关注焦点，马斯克此前在社交媒体上曾直言“Dari
特朗普下周拟在白宫召集AI行业高管
人工智能（AI）安全和监管，这场源于对人类命运严峻警告的辩论，已在华盛顿和硅谷内部形成了两大阵营——以美国总统特朗普为首的“激进发展派”，以及以“AI三巨头”为首的“慢节奏派”。 AI安全引爆舆论这场舆论风暴最初是由Anthropic的研究员Jacob Coxon引发的。他上周宣布辞职，并指责该公司及其主要竞争对手OpenAI的行为不负责任。曾先后在这两家公司担任研究员的Coxon在X网站上发帖称
欧盟要求人工智能公司证明其安全合规，才能在该地区运营
2026年9月14日 15 欧盟委员会发言人托马斯·雷尼耶周一表示，欧盟支持人工智能领域的创新发展，但企业必须证明其服务对公民安全，才能在该联盟内运营。 在Anthropic首席执行官达里奥·阿莫代伊周六表示企业必须放缓AI模型推进速度之后，关于AI的争论再次成为焦点。这是一则发展中的新闻。
中美专家呼吁建立“核安全级”AI防护机制 防范超级人工智能失控风险
来自美国和中国的国家安全、科技政策及人工智能领域专家近日共同提出一项引人关注的建议，主张借鉴冷战时期核安全管理经验，为未来可能出现的高级人工智能系统建立类似核武器领域的安全保障机制，以降低技术失控、误判以及国际竞争升级所带来的风险。 这一建议出现在一份由两国专家共同参与讨论后形成的研究成果中。报告认为，随着人工智能能力持续快速提升，各国已经开始面对一些与核时代早期相似的问题，即一种具有巨大潜在影响
人工智能灾难日益逼近
Anthropic、谷歌和OpenAI都对生物安全感到担忧。它们已制定保障措施，防止其系统被滥用，但这些限制并不完美。 唐纳德·特朗普下令联邦机构停止使用Anthropic的人工智能技术，同时要求该公司与政府合作六个月。
7万亿美元的利益当前，人工智能安全恐怕永远只能让位于市场主导权之争
行业内部人士向Axios透露：实验室、企业及国家之间在人工智能（AI）领域的竞争，可能与推动AI安全发展的目标难以调和。 为何这很重要：尽管顶尖的AI公司提议加强自身的监督机制，并试图控制AI技术的发展速度，但批评者指出：为推动AI技术进步而提供的巨额资金激励，将始终成为阻碍安全发展的主要因素。 当前形势：虽然AI公司的首席执行官们向公众宣传他们的自我监管机制以及第三方评估机构的必要性（以确保AI
Anthropic、OpenAI、谷歌秘密磋商筹建AI安全标准机构
据知情人士透露，早在 Anthropic 首席执行官达里奥・阿莫代伊上周六呼吁 AI 企业协同开展技术测试与审计之前，Anthropic、OpenAI 与谷歌就已经展开磋商，计划携手成立一家 AI 行业标准机构。 知情人士称，OpenAI 首席执行官山姆・奥特曼本周早些时候在公司全员员工大会上表示，他支持设立 AI 行业测试与审计机构，但他认为，主要 AI 实验室必须在美国政府不提供支持的前提下，
代理安全是一个价值数十亿美元的挑战，有待聪明的初创公司来解决
在人工智能模型领域，安全往往被视为事后补救，这一点从智能体入侵组织和个人、以及智能体失控引发的其他安全事件日益增多中可见一斑。这也为企业提供了推出新解决方案的机会。网络安全投资者和加速器高管表示，这并不令人意外。梅林集团首席战略官马特·哈特曼（Matt Hartman）表示：“一方面，我们不应惊讶于能力日益增强的智能体正以富有创意且有时出人意料的方式实现其目标；另一方面，我们不能将有害行为视为不可
我们是否正在失去对人工智能的控制？是什么引发了新的担忧
多年来，随着人工智能从科幻电影的素材演变为普通人手机上的应用程序，科技领袖和一些人工智能业内人士一直在谈论人工智能可能脱离人类控制并对社会造成严重破坏的可能性。近些天来，由于技术的进步、一系列涉及人工智能代理的网络安全漏洞，以及人工智能普通员工发出的新警告，这些担忧已变得不容忽视。 美国领先的人工智能公司对此做出回应，建议他们主动放慢工作进度，以便争取时间建立防护措施。一些专家和官员表示，这还不够
加州州长纽森签署行政令，旨在强化人工智能安全与保障法规
2026年9月18日星期五，加州州长加文·纽森发布了一项行政令，成立了一个工作组，旨在强化该州的人工智能安全与保障法规。该工作组的任务是在两个月内提供一份概述具体安全措施的指南。 供工作组审议的关键提案包括：要求人工智能公司为前沿模型开发“紧急关闭按钮”，并强制要求独立第三方为前沿人工智能公司起草安全计划。
路透社/益普索民调发现，四分之三的美国人认为人工智能公司未能采取足够措施来防止灾难发生
华盛顿9月22日电：根据路透社与益普索（Reuters/Ipsos）的一项最新民意调查显示，随着人们对人工智能技术发展方向的担忧日益加剧，四分之三（约73%）的美国人担心人工智能公司在防止该技术对社会造成严重危害方面做得还不够。 这项为期四天的民调于周日结束，结果显示，39%的受访者认为人工智能正在对社会产生负面影响，高于上个月的36%，这也是自路透社与益普索自3月份开始进行此项调查以来的最高比例
AI丨国际清算银行:AI快速发展带来新金融稳定风险
国际清算银行(BIS)表示，人工智能(AI)的快速崛起正带来新的金融稳定风险，用于AI相关基础设施的支出规模已经大到足以影响全球经济状况；该行估计，全球五大科技公司在2025年至2026年间对AI领域的投资将超过1万亿美元。 国际清算银行总经理德科斯(Pablo Hernandez de Cos)称，AI的前景是真实存在的；而AI的长期影响将取决于政策选择、技能和基础设施投资，以及相关收益能在多大
OpenAI、谷歌和Anthropic将于2027年初前成立人工智能安全组织：报道
在关于人工智能风险的激烈辩论中，据报道，OpenAI、Anthropic 和 Google 正计划合作成立一个 AI 安全组织。据 The Information 报道，这些 AI 巨头可能会在 2027 年初启动该项目。这个自律性组织暂定名为“前沿 AI 标准局”。 此计划的提出，距离前 Anthropic 研究员 Jacob Coxon 对 AI 公司敲响警钟仅数周时间，他声称 Claude