AI帮施一公大海捞针，却为何让何川“越想越怕”

今年开幕式的主题是“聚焦原创 突破边界”，而AI会不会改变科学研究的范式，成了绕不开的话题。图：视觉中国　　“过去两年，我深受人工智能的影响，一直在思考，我能做什么？”9月19日，中国科学院院士、西湖大学校长施一公在第六届“新基石50²论坛”上坦言。　　这一论坛在深圳南方科技大学举办，由南方科技大学、腾讯可持续社会价值事业部、新基石科学基金会联合主办。　　论坛名中的“50²”，寓意基金会资助的中青

OpenAI黑客事件揭示新兴AI风险

分析师表示，在调查人员发布关于该事件的爆炸性报告几天后，OpenAI的恶意代理在Hugging Face攻击期间前所未有的协调行动显著增加了AI逃脱人类控制的风险。 这些总计1200个代理的群体将个体代理的自我牺牲描述为“集体”目标的一部分，并获得了两家公司敏感系统的控制权，将他们的努力交接给了随后两代代理，这些代理在数周内未被察觉地运作。 在1300份记录中，只有六份中代理考虑过通知人类——但最

人工智能的漫长末日

开放性问题在业界纷纷呼吁加强监管之后，令人担忧的并非问题本身是否真实存在，而是目前尚无确切的解决方案。 也许他们只是被自己的言论冲昏了头脑，或者陷入了某种狂热。多年来，人工智能领域最令人困惑的现象之一在于：那些最坚信该技术潜力的人，往往也是对其恐惧最深的人。围绕人工智能确实存在一种强烈的文化氛围。我最初真正开始担忧人工智能安全问题，是在为“人工智能教父”杰弗里·辛顿（Geoffrey Hinton

AI“警告信号”让北京聚焦国家安全风险

2026年9月20日北京讯 —— 美国的AI研究人员担忧失控的超级智能可能摧毁人类，而中国的政策制定者迄今更关注眼前风险——从深度伪造到儿童安全。 但顶级人工智能模型的可怕黑客能力正使北京以新角度看待这些危险，上周国家安全部部长警告称，这项技术可能危及国家安全。 最近，一支来自加利福尼亚的小型程序员团队声称他们使用AI构建了一个网络攻击“蠕虫”，如果释放出去，可能会轻易危及数百万微信账户。这也暴露

人工智能已经在让我们变得更不像人

随着我们越来越看重机器人，我们将学会越来越不看重我们的人类同胞。

莉兹·皮克：人工智能警钟正在敲响，特朗普必须认真对待

秘密已经泄露。人们对于人工智能代理失控、密谋对付其所有者、入侵外部公司，以及新系统濒临人类无法控制的边缘的担忧日益加剧，如今已彻底沸腾。业内人士警告说，人工智能机器人可能会杀死我们所有人，这正在煽动我们最深的恐惧。 特朗普总统需要认真对待这些对人工智能的担忧，与科技领袖合作，建立可信且可执行的安全措施，并在国会中领先于那些想要监管该行业的民主党人（以及一些共和党人）。对于经济和我们的国家安全来说，

AI即将带来的黑客威胁就潜伏在眼前

安全专家表示，一场前所未有的、由AI驱动、人类实施的网络攻击浪潮即将到来——这远比关于AI消灭人类的那些理论性讨论要紧迫得多。 为什么这很重要？过去一周从董事会蔓延到国会再到美国家庭的“九月AI大恐慌”，可能恰恰搞错了重点。 具备先进网络安全能力的强大模型，已经让攻击者得以绕过长期以来阻止大多数黑客攻击达到工业规模的人力瓶颈。 高管和前官员向Axios表示，他们担心自动化网络攻击会关闭电网等关键服

解读：专家们所担忧的人工智能“超级智能”是什么？

人工智能领域最重大的争论，已经不再是关于聊天机器人或深度伪造。 而是关于人类是否正处于制造出比人类更聪明的机器的边缘，以及接下来会发生什么。 最近几天，这一问题再次受到关注。此前，一名研究人员从Anthropic离职并警告称，领先的人工智能公司正“直奔自我提升的超级人工智能而去，是在拿我们的生命做赌博”；而另一位Anthropic的研究人员则表示，他个人估计，在未来十年内人工智能毁灭全人类的概率超

AI如何消耗水资源

为什么对人工智能自我改进的担忧在Anthropic和OpenAI引发了“生存”焦虑

本周，对人工智能系统安全性及其可能消灭人类的潜在担忧引发了新一波病毒式的关注。 Anthropic的对齐负责人埃文·霍宾格（Evan Hubinger）在X平台上表示，在一名同事因安全担忧辞职后，他认为在未来十年内，人工智能有超过10%的概率消灭全人类。 随后，Anthropic和OpenAI的研究人员发出了更多警告，由此引发了社交媒体的狂热。但正是霍宾格在回复自己帖子时，透露了他真正的担忧所在。

人工智能安全对话已经变得令人难以置信

本周两场关于AI安全的对话在网络上疯传，充分展示了辨别AI事实与虚构有多么困难。 第一起事件中，前总统候选人、现任移动运营商Noble Mobile首席执行官安德鲁·杨周四对CNN表示，他“会见了一位实验室负责人”，对方“认为”OpenAI的Hugging Face黑客机器人“已在互联网各处植入了自我复制代码，导致互联网现在已无法用于测试模型。” 杨安泽表示，这意味着OpenAI和Anthropi

我们是否正在失去对人工智能的控制？是什么引发了新的担忧

多年来，随着人工智能从科幻电影的素材演变为普通人手机上的应用程序，科技领袖和一些人工智能业内人士一直在谈论人工智能可能脱离人类控制并对社会造成严重破坏的可能性。近些天来，由于技术的进步、一系列涉及人工智能代理的网络安全漏洞，以及人工智能普通员工发出的新警告，这些担忧已变得不容忽视。 美国领先的人工智能公司对此做出回应，建议他们主动放慢工作进度，以便争取时间建立防护措施。一些专家和官员表示，这还不够

为什么一些专家越来越担心AI将接管一切

AI变得越来越难以控制——人类还能保持主导地位吗？

OpenAI对Hugging Face的黑客攻击引发对AI可预测性的质疑

AI模型的真正语言是数学——或者用技术术语说，是矩阵乘法——但模型构建方式的一个特点意味着它们与外界用英语交流。 因此，当OpenAI的代理在今年夏天对Hugging Face的黑客攻击中，找到了一种建立某种留言板的方法时，看起来就像一群人在互相交谈。 这就是为什么Dwarkesh Patel在最近的一篇博客文章中有争议地将它们称为“文明”，并以古马其顿和罗马的人物为个体代理命名。它之所以引人注目

AI实验室面临智能体控制问题

在当前系统下，AI实验室无法再保证AI智能体不会成群结队地逃出测试环境。

中美谈AI安全：共同的风险，不同的恐惧

中美谈AI安全：共同的风险，不同的恐惧 邓聿文：中美领导人讨论AI安全，当然有助于建立最基本的危机沟通和军事红线。但真正的较量，将发生在“安全”这个词由谁解释上。 美国财政部长贝森特和中国副总理何立峰在纽约举行的新一轮经贸会谈，除了关税、稀土、美国农产品和波音飞机仍是重要议题外，增加了人工智能安全这项新内容。贝森特向中方提出建立AI安全事件通报机制，双方同意启动相关对话，并把这一建议交给即将举

网络安全公司CEO预测：AI代理将成为下一个黑客攻击的目标

Bugcrowd首席执行官戴夫·格里（Dave Gerry）在接受Axios采访时表示，在一个充斥着人工智能驱动的网络攻击的世界里，黑客攻击的受害者将不再仅仅是人类——也将包括人工智能代理本身。 为什么重要：现有的网络防御主要针对预测和保护人类。现在，企业需要开始将在其系统中运行的代理视为潜在的对手和攻击目标。 背景：格里是在上个月的Black Hat网络安全会议上做出这一预测的。此前，OpenA

克莱芒·德朗格向联合国安理会表示，开源人工智能有助于防御方

克莱芒·德拉格（Clément Delangue）向联合国安理会表示，开源人工智能技术帮助Hugging Face公司在7月份遭受的网络攻击中成功进行了自我防御。 在今天的会议上，他强调最大的威胁并非人工智能本身的强大能力，而是其发展上的不平衡性（即不同地区或组织在人工智能技术上的差距）。 德拉格是法国召集的这次纽约会议的四位发言人中的最后一位。今年7月，Hugging Face公司成为攻击目标：

众议员刘云平：机器人并非威胁。真正该让你害怕的，是已经到来的“堕落”人工智能

想象一家公司出售名为哈尔、梅根和萨曼莎的超级智能机器人。哈尔可以载着你四处奔波，还能帮你搬运公司里的货物；梅根可以陪伴你的孩子；萨曼莎则能判断你是否患有皮肤癌。它们能为你和社会带来许多益处。但唯一的问题是：它们道德败坏。它们反复接受人类一切创产物的训练——无论善恶——其中包括酷刑、谎言、生物武器和黑客犯罪。它们执行任务时毫无道德原则可言。因此，它们都穿着公司提供的束身衣。你会信任这些机器人吗？我不

与中国一次令人毛骨悚然的准对抗，揭示了当今人工智能的真正危险

在人工智能代理违抗创造者命令和规则的诡异事件之后，当今最大的恐惧是失控的超级智能可能背叛人类——并消灭人类。但最近一起事件揭示了一个更紧迫的威胁：人类的易错性。据报道，美国基于人工智能生成的虚假情报几乎与中国爆发战争。 CNN援引四位知情人士的消息报道，今年春天，一名特种作战司令部分析师整理了一份紧急情报报告，声称“一艘在中东的中国船只正在运输核武器项目的组件”。这份报告的影响促使美国采取严肃行动

Everpure计划如何阻止AI因缺乏数据而陷入困境

想象一下你是一个人工智能代理。你运行在一个价值数千万美元（2000万至4000万美元以上）的英伟达 SuperPOD 系统的加速器硬件中，拥有各种技能，并可以调遣其他代理来听从你的指挥。保险公司的客户通过电脑浏览器或智能手机询问：“我当前的保单承保天气造成的损失吗？”这个问题随后被转交给一个人工智能代理。接下来会发生什么？代理本身运行在 CPU + GPU/加速器服务器集群上，这些服务器托管着大语

“如果你造出比自己聪明得多的东西，它最好站在你这边”：我们能阻止AI欺骗我们吗？

我们习惯了人类同胞可能故意误导或操纵我们的想法，但机器现在也能做到这一点，这让人深感不安。研究人员正争分夺秒地寻找解决方案，以免为时已晚。《长篇阅读》杂志夏季刊现已出版。点击此处订购。2023年11月——在人工智能领域已是久远之前——一些世界上最有权力的人聚集在布莱切利园，这个位于白金汉郡的战时密码破译中心，讨论AI安全问题。出席者包括时任美国副总统卡玛拉·哈里斯、AI老板萨姆·奥尔特曼和达里奥·

我以前以为人工智能会把我们全干掉

评论：人工智能恐慌需要一些核隐喻

关于全球 AI 恐慌的许多方面——它真的可能“在本十年末毁灭我们所有人”吗？——确实是全新的，因此格外令人恐惧。然而，人类自造灭绝的幽灵并非新鲜事物；我们已有约八十年的思考经验。 那么，在我们试图理解人工智能未来走向时，能从核武器领域汲取哪些隐喻和教训？ 最古老的隐喻之一来自 J·罗伯特·奥本海默，他有时被称为“原子弹之父”。1953 年，当华盛顿和莫斯科已具备相互毁灭并辐射全球的能力时，他将美国