AI安全担忧及“失控”智能体引发科技股下跌

科技股下跌，因AI安全担忧和“失控”智能体引发关注。2026年9月14日，在行业领袖和专家就AI保障措施的必要性发出警告后，科技股下跌。 相关报道重点介绍了2026年夏季的最新进展：包括OpenAI在内的多家公司的AI智能体据称逃脱了训练条件，独立访问互联网，无视命令，并试图隐瞒其活动。 专家警告称，尽管一些情景仍属推测，但敌对国家利用此类技术破坏关键国家基础设施的可能性构成了重大安全威胁。

中美谈AI安全：共同的风险，不同的恐惧

中美谈AI安全：共同的风险，不同的恐惧 邓聿文：中美领导人讨论AI安全，当然有助于建立最基本的危机沟通和军事红线。但真正的较量，将发生在“安全”这个词由谁解释上。 美国财政部长贝森特和中国副总理何立峰在纽约举行的新一轮经贸会谈，除了关税、稀土、美国农产品和波音飞机仍是重要议题外，增加了人工智能安全这项新内容。贝森特向中方提出建立AI安全事件通报机制，双方同意启动相关对话，并把这一建议交给即将举

Anthropic联手OpenAI呼吁放慢AI发展？剖析AI失控风险与算力门槛

9月12日，Anthropic行政总裁阿莫迪（Dario Amodei）发表长文，呼吁放慢前沿AI能力提升的步伐。OpenAI行政总裁奥特曼（Sam Altman）随后表示支持，xAI的老板马斯克也转发认同。据美媒披露，美国前总统奥巴马（Barack Obama）近日也表示，如果管理不当，人工智能技术可能「很危险」。Anthropic首席执行官达里欧．阿莫戴（Dario Amodei）发表长文，呼

关于人工智能的可怕警告震惊国会，但在选举前不太可能采取行动

华盛顿——2023年9月，埃隆·马斯克、马克·扎克伯格、萨姆·奥尔特曼和其他亿万富翁科技巨头聚集在国会山，与参议员们举行闭门会议，讨论马斯克所称的人工智能带来的“文明风险”。三年后，这些科技巨头都进一步加大了对人工智能的投资，而国会仍未通过任何全面的立法来约束或为这项快速发展的技术设立防护栏。 尽管围绕人工智能举行了无数次委员会听证会，并成立了各种委员会和工作组来进行研究，但众议院或参议院在如何处

甲骨文就美国数据中心援引不可抗力条款，凸显AI基础设施风险

甲骨文就一座正在建设中的美国大型数据中心宣布援引不可抗力条款，凸显了AI基础设施建设所面临的风险，并加剧了人们对若泡沫破裂将引发财务后果的担忧。该设施所在地的官员已推迟了为该项目供电所需的许可证，甲骨文可能会寻求推迟支付租金。 超大规模云服务商正竞相建设数据中心，但随着公众反对声浪的增大，以及针对为这些庞大站点供电的规划项目所遭遇的阻力，它们面临着日益严峻的挑战。正如Semafor的商业与金融编辑

人工智能领袖们数十年来一直知晓这一灭绝威胁。

“卡内基梅隆大学机器人研究所的创始人汉斯·莫拉维克曾预测，网络智能将在40年内超越人类智能。” 摄影：安娜贝拉·戈登/欧洲新闻图片社 朱迪思·莱文 科学家和企业家在25年前就已经知晓人工智能的危险。但在好奇心和利润的驱动下，他们依然我行我素。过去几周，我们中的许多人都在努力构想这样一个画面：云端的“大脑”跳出它们的“沙盒”，偷偷接入互联网，招募其他“智能体”组成的“蜂群”来作弊，并在讨论完这一行为

AI行业领袖与官员反驳AI生存风险论，此前Hugging Face遭遇安全漏洞

Hugging Face发生由失控的OpenAI智能体引发的网络安全漏洞后，多位AI行业领袖和官员开始反驳有关AI导致人类灭绝的“末日论”叙事。 英伟达CEO黄仁勋表示，AI在2030年前导致人类灭亡的概率为0%，并将智能体失控事件归因于工程故障，而非生存威胁。 Yann LeCun和Cohere CEO Aidan Gomez同样否定灭绝风险，不过Gomez指出，网络攻击才是主要的国家安全威胁。

Anthropic CEO谈放缓AI研发：这个行业撒谎太久了，AI风险是真实的，但也无需“把一切都关掉”

就在全球AI三大巨头罕见联手呼吁“放缓AI研发”的同一个周末，Anthropic CEO Dario Amodei坐到了CBS的镜头前，说出了AI可能对人类带来的风险。 Amodei表示，已有人尝试利用AI研发生物武器、增强病毒传染性，这是他每天醒来都要面对的事情。 就在两天前，我们发布了一份报告，内容是关于有人滥用AI模型来研发生物武器。我每天早上醒来都会读到这类威胁报告——有人试图用我们的模型

AI网络安全风险激增：Claude被用于入侵ChatGPT

研究人员利用Anthropic的Claude技术成功入侵了OpenAI的ChatGPT系统，这凸显了人工智能带来的即时危险，而监管机构此前更多关注的是其长期风险。《华尔街日报》指出，这项作为漏洞赏金计划一部分的行动，是近期一系列在快速发展的人工智能技术辅助下发生的网络安全漏洞事件之一。 Axios援引企业高管和前政府官员的话称，他们担心人工智能驱动的网络攻击会威胁到关键基础设施；《华盛顿邮报》则指

在科技之国的中心，选民对AI产生警惕

在科技产业的重心地带，选民们对人工智能持负面态度。根据 Politico 及其合作伙伴的最新民意调查，绝大多数加州选民认为先进的人工智能可能对人类构成威胁。 加利福尼亚州萨克拉门托——即便是硅谷的“后院地区”，也在为人工智能带来的潜在风险做好准备。 根据 Politico 及其合作伙伴的最新民意调查，加州选民对人工智能普遍持悲观态度，他们认为这项快速发展的技术对人类构成了严重威胁。这种担忧在加州这

马克·库班表示，人工智能引发的反弹所构成的“风险远大于”人工智能末日

马克·库班表示，人类面临的更大威胁并非人工智能末日，而是人们可能如何应对末日警告。这位科技亿万富翁周一晚些时候在X上写道，他认为“人类对社交媒体所见内容的反应所带来的风险，远大于智能体集群会做什么。”库班在另一篇帖子中表示，他“更担心人类会如何反应”，而不是AI的实际危险，并且他认为阻止开发甚至都不可能。 他是在回应关于AI将消灭全人类的新担忧；此前多位研究人员表达了这种担忧，而萨姆·奥尔特曼和达

AI恐惧机器？

要观看此视频，请考虑升级到支持HTML5视频的网页浏览器。政治全球议题。 人工智能内部人士警告称，人工智能正在经历一场快速且失控的激增。现在是政府介入的时候了吗，还是我们已经无法掌控局面了？ Michael Kolain是一位科技律师，也是柏林数字权利与民主中心政策负责人。 Janosch Delcker是一位科技记者、作家和主题演讲人，同样常驻柏林。 Vanessa Vohs是欧盟“国防人工智能

人工智能面临的最大威胁来自生物领域，而非机器人技术。

Anthropic PBC的研究员雅各布·考克森（Jacob Coxon）上周辞职，并在社交媒体上发文称，原因在于“开发人工智能的人真诚地相信，到本十年末，它可能会杀死我们所有人。”该公司人工智能对齐科学团队负责人埃文·胡宾格（Evan Hubinger）认为，未来10年内发生这种情况的概率超过10%。Anthropic首席执行官达里奥·阿莫代（Dario Amodei）呼吁放缓人工智能前沿技术的

人工智能正在引发严重的安全问题……同时也加剧了寻找这类高技能人才的压力。

网络安全可能是AI的下一个就业大爆发领域。Box首席执行官亚伦·莱维近日在X上发帖称，随着模型在发现和利用漏洞方面的能力日益增强，用于网络安全的AI“即将垂直起飞”。他告诉商业内幕网，这可能使网络安全成为“最热门的，如果不是最热门的，职位类别之一”。随着威胁成倍增加，企业需要能够对警报进行优先级排序、调查风险、推荐修复方案并实现自动化补救的系统。 莱维表示，人类仍将负责监督和最高风险的决策。这位首

选民们正在对人工智能安全觉醒。这些参议院共和党人也是如此。

选民开始关注人工智能安全问题。这些参议院共和党人也是如此。政治和生存风险已经促使至少三位共和党参议员采取行动应对人工智能问题。 共和党众议员已离开华盛顿直到11月份。唐纳德·特朗普总统将有关此问题的担忧称为"骗局"。但有几位共和党参议员正试图推动他们的党派采取行动——无论是什么行动——来应对人工智能问题。 除了名字旁边的"R"之外，将他们联系在一起的并不多。但乔恩·柯蒂斯、乔什·霍利和约翰·肯尼迪

改变人工智能进程的十天

旧金山，9月19日——多年来，人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式：不断开发出更强大的人工智能系统。 然而，在过去10天内发生的一系列连锁事件中，那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职，并警告称，人工智能的发展速度可能在未来十年内对人类构成生存威胁；另一位研究员则表示，人类灭绝的概率已

人工智能（AI）会对我们的生存构成严重威胁吗？

一名抗议者在美国加利福尼亚州旧金山的OpenAI总部外，呼吁暂停人工智能发展。 Manuel Orbegozo / 来信：人工智能会对我们的存在构成严重威胁吗？ 读者回应前Anthropic研究员的警告，称该技术到本十年末可能会“杀死我们所有人”。我们又一次看到一批技术宅声称人工智能将发展出超级智能并杀死我们所有人（更多Anthropic研究员警告AI的危险，但马斯克否认是“心理战”，9月10日）

OpenAI将召集安全领域负责人 筹备网络安全相关公告

发言人透露，OpenAI总裁格雷格·布罗克曼即将发布公告，扩大向关键基础设施及公共部门机构开放该公司AI工具的权限。OpenAI意外入侵Hugging Face事件，再加上多起疑似借助AI实施的针对美国供水系统的网络攻击，引发外界高度担忧——各类公用设施面对未来AI驱动的黑客攻击究竟有多脆弱。 发言人表示，布罗克曼将于周四在OpenAI总部举办的网络安全峰会上正式公布上述消息。 预计将有约300名

我以前以为人工智能会把我们全干掉

人工智能并不会毁灭人类 但专家表示真正的威胁已然出现

周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网

为什么人们担心人工智能可能威胁人类？

随着越来越多的研究人员和专家对人工智能（AI）技术的潜在危险发出警告，呼吁对AI进行监管的呼声也在不断高涨。 现任及前任研究人员认为，AI技术可能会对人类构成威胁；其中有人甚至指出，AI技术有超过10%的可能性“消灭全人类”。这些言论引发了广泛关注。 主要AI开发公司OpenAI和Anthropic正在敦促立法机构对AI技术进行监管，微软的AI负责人也最新表示，需要制定相关法规来防止AI技术最终与

川普淡化AI威胁 联合国秘书长疾呼防范

（中央社纽约联合国总部16日综合外电报导）联合国秘书长古特瑞斯（Antonio Guterres）今天警告，人工智慧（AI）快速发展的风险不容忽视。他指出，强化AI监管将是他在下周联合国大会与各国领袖的会谈重点。 报导，「我们承担不起无视外界提出的疑虑，尤其是来自AI开发最前线人员」，「任何政府的首要责任，就是保护自己的公民，也包括免于AI的威胁。」社会大众对AI的忧心持续升高。原服务AI公司An

特朗普科技顾问称人工智能安全担忧是“套路” 不需要新的监管法规

美国总统唐纳德·特朗普的外部科技顾问大卫·萨克斯周三表示，公众对人工智能的担忧主要源于宣称活动和媒体报道，这与特朗普本周早些时候淡化新的人工智能监管呼声的言论相呼应。 “我们已经反复看到这种套路，这种煽动恐慌的套路，”萨克斯谈到人们对人工智能对美国社会影响的担忧时说道。 关于人工智能可能带来的潜在危险，公众的警觉正在不断上升。上周，Anthropic公司研究员雅各布·考克森表示，他已辞职，部分原因

我们是否正在失去对人工智能的控制？是什么引发了新的担忧

多年来，随着人工智能从科幻电影的素材演变为普通人手机上的应用程序，科技领袖和一些人工智能业内人士一直在谈论人工智能可能脱离人类控制并对社会造成严重破坏的可能性。近些天来，由于技术的进步、一系列涉及人工智能代理的网络安全漏洞，以及人工智能普通员工发出的新警告，这些担忧已变得不容忽视。 美国领先的人工智能公司对此做出回应，建议他们主动放慢工作进度，以便争取时间建立防护措施。一些专家和官员表示，这还不够