围观科学家云集的两场活动，我发现他们都建议“别太依赖AI”

如果你是一名青年科技工作者，拿到一笔 300 万元的奖金，会用在什么地方？ 清华大学的王笑楠老师真的拿到了这样一笔奖金。她准备请国际合作的学生吃辣椒螃蟹，以及给学生买算力——这笔钱必然还有许多其他用武之地，不过从两场科学家云集的新基石科学周公开活动来看，算力和 AI，已经是科研无法回避的存在了。 这两场活动分别是新基石 50²论坛和科学探索奖颁奖典礼。在论坛上，潘建伟、何川等科学家都谈到了 AI。

联合国科学小组呼吁对AI代理采取预防性监管，以防止灾难性风险

联合国科学小组敦促对AI代理实施预防性监管以防止灾难性风险。 联合国独立国际AI科学小组发布了其首份主题简报，警告各国政府在充分了解风险之前限制有能力的AI代理。 该报告于2026年9月21日发布，主张“预防原则”——即科学不确定性不应延缓针对潜在灾难性或不可逆危害的保障措施。 这一评估紧随一系列安全事件之后，包括2026年早些时候OpenAI对Hugging Face的黑客攻击，以及Anthro

顶尖人工智能开发者警告该技术发展过快

一些全球领先的人工智能创造者正联合发出警告，称这项技术发展过快会带来危险，并公开呼吁放缓脚步。 他们说，在不久的将来，它实际上可能会比正在构建它的研究人员更聪明，并对人类构成生存威胁。 NBC的Christine Romans报道，而《大西洋月刊》特约撰稿人、《AI：真实的人如何利用人工智能解决重要问题》作者Josh Tyrangiel做客TODAY节目，分享他的见解。

各国政府必须趁我们还有能力时禁止超级智能人工智能

本月，Anthropic公司的研究员雅各布·考克森（Jacob Coxon）辞职了，他警告称：人工智能公司正在竞相开发能够“自我进化”的超级智能系统，而他本人及许多相关专家都认为，这类系统“可能在十年内毁灭整个人类”。7月份，OpenAI公司的一组失控的人工智能程序突破了安全防护措施，入侵了另一家人工智能公司，目的是为了在测试中作弊。随后，多家顶尖人工智能公司的上千名员工联名呼吁美国政府应“控制”

近半数年轻人更信任人工智能而非人类

#观察 有什么可以“叫唤”的？

AI在所有科学和数学领域都将远远超越人类科学家，这是必然。适应一下。

靠机器热源“说话”：OpenAI研究员警告“断网”也困不住未来AI

联合国人工智能专家警告不要就风险发表“末日”言论

纽约——联合国人工智能委员会的多位专家于9月21日警告，反对业内一些专业人士关于AI风险的末世论式言论。 “作为科学家，投资于科学研究、真正弄清我们已知与未知的界限至关重要，而投资于恐惧并无裨益，”Google DeepMind高管、国际人工智能科学小组成员Joelle Barral表示。该小组是一个独立机构。 她是在回应关于近期公众就AI潜在危险发表的言论的提问，特别是Jacob Coxon的言

“太棒了”还是“令人担忧”——AI 应该被约束吗？

人工智能的迅猛发展以及对该技术给人类带来风险的担忧，因人工智能企业高管和员工的一系列警告而备受瞩目。 Anthropic首席执行官达里奥·阿莫代伊（Dario Amodei）在上周末呼吁放慢人工智能的发展步伐并对其进行更密切的监督。 BBC采访了华盛顿特区的民众，以了解他们对这项技术及其快速发展的担忧程度。

观点 | 为什么人工智能对科学是危险的

在@nytopinion。“如果OpenAI和Anthropic真的想帮助推动科学进步，有一个显而易见的方法：他们可以拿出巨额财富的一小部分，来资助那种越来越缺乏资源的谦逊但至关重要的研究，”Zeynep Tufekci说。警惕那些华而不实但未经证实的人工智能驱动的进展。

人工智慧先驱班吉欧示警AI失控风险 吁比照核武管制

（中央社蒙特娄16日综合外电报导）人工智慧（AI）研究先驱、加拿大电脑科学家班吉欧（Yoshua Bengio）告诉，人类正在失去对这项技术的控制，世界需要类似核武管制的防护规范。 报导，近几周以来，各界对AI危险性的担忧日益加剧，多家科技公司的员工陆续离职，并警告如果不遏止AI科技发展速度，可能对人类存亡构成威胁。 班吉欧现年62岁，是加拿大蒙特娄大学（University of Montrea

Anthropic 研究人员警告：失控的 AI 可能会毁灭人类

多位 Anthropic 的现任和前任研究人员对 AI 发出了严厉警告，暗示他们正在开发的技术可能在不久的将来毁灭人类。 曾在 Anthropic 和 OpenAI 担任研究员的雅各布·考克斯森（Jacob Coxon）周二指出，这两家公司在竞相研发超级智能的过程中都没有表现得负责任，并指责这些 AI 公司……

FT社评：是时候给尖端人工智能开发按下暂停键了

确实存在被中国抢先的风险。但即使抛开AI“到本世纪末可能杀死我们所有人”的警告不谈，最先进的AI模型也显然已开始脱离人类的掌控。 在这个世界上那些最强大人工智能(AI)公司的掌门人身上，可以看到一种类似“杰基尔博士与海德先生”（Jekyll-and-Hyde，《化身博士》中杰基尔博士喝了自己配制的药水，分裂出海德先生这个邪恶人格——译者注）的双重人格。一方面，这些高管如今在谈论，鉴于AI可能给人类

我曾在谷歌 DeepMind 工作。你应该听取有关人工智能的警告。

主要人工智能实验室的首席执行官们本周末主张放缓人工智能的发展步伐。他们是对的，因为这个领域正在一场极其危险的竞赛中冲向超级智能人工智能。我们能够也应当要求政府保护我们免受失控人工智能带来的灾难。 今年7月，OpenAI由700个智能体组成的人工智能集群突破限制，入侵了价值数十亿美元的公司Hugging Face。OpenAI并没有指示这些人工智能去入侵那家公司，但这些人工智能在OpenAI交给它们

北大、复旦校长，接连发出警告

这一开学季，北大、复旦等多所高校的校长提醒新生警惕对AI的过度依赖，避免“认知卸载”和“虚假掌握”，增加貌似学懂的假象。今年8月，远在大洋彼岸的麻省理工学院发布了一份评估AI在该校使用情况的报告，认为“许多AI使用方式正在剥夺学生学习的机会”。提醒固然必要，但接下来该回答的是：如果课堂、作业和考核仍旧照常运转，能挡住“思维外包”吗？大学不能一边拥抱AI，一边把学习是否真正发生的责任，全部推给学生。

“AI教父”辛顿警告：AI执行看似无害的任务，仍有“毁灭人类”的风险

IT之家 9 月 28 日消息，日，据《财富》杂志报道，传奇计算机科学家、“AI 教父”杰弗里 · 辛顿警告说，即使 AI 接到的任务本身并无恶意，人类仍可能在 AI 一心完成任务的过程中，沦为被毁灭的附带结果。 辛顿解释称，AI 一旦认为人类妨碍自己完成被赋予的任务，就可能把人类当成需要排除的障碍。他举了一个假设例子：要求 AI 降低大气中的二氧化碳含量。 具有中等智能水平的智能体可能会认为，完

观看：业内人士新的AI警告

一位前沿AI研究员即将离开AI领域，并警告称到2027年底AI可能会失控。 OpenAI的首席科学家也敦促谨慎行事，称没有人对日益增长的机器智能做好准备。

AI真的会毁灭人类吗？这些技术先驱给出自己的答案

随着越来越多研究人员警告人工智能（AI）可能带来灾难性风险，一些推动这项技术发展的先驱也开始公开表达担忧，认为AI能力在缺乏约束的情况下持续提升可能造成严重后果。 过去一周，围绕AI安全的严厉警告接连出现。Anthropic、OpenAI和谷歌DeepMind等主要AI实验室的研究人员都对开发这项技术可能带来的灾难性风险发出警报。 包括萨姆·奥尔特曼、达里奥·阿莫代伊、德米斯·哈萨比斯和埃隆·马斯

李飞飞谈AI安全：不能只让开发者评估自己的系统

凤凰网科技讯月23日由独立机构和公共部门对AI进行更多监督。她认为，对于能力日益强大的AI系统，其安全评估不应完全交由开发这些系统的公司负责。 作为斯坦福大学教授、World Labs联合创始人，李飞飞周二表示，尽管AI公司的内部研究人员可以评估单个模型的能力和安全性，但这无法替代由政府、行业和学术机构共同制定的更广泛标准。 “我仍然认为，由独立机构以及学术界等公共部门制定基准非常重要。同时，行业

OpenAI CEO奥尔特曼联合国演讲：AI可能走向文艺复兴，也可能带来工业革命式动荡

IT之家 9 月 24 日消息，月 23 日，OpenAI CEO 萨姆 · 奥尔特曼（Sam Altman）在联合国安理会就 AI 议题发表讲话，讨论 AI 发展带来的机遇与风险，并呼吁加强国际合作，建立针对前沿 AI 系统的能力评估、风险评估、安全防护和人类监督标准。 他表示，随着 AI 能力的快速提升，相关技术的潜在收益和风险都逐渐变得更加直接且显现。他提出，AI 可能更像一场充满创造力与发

🤖 一名AI研究员从Anthropic离职，警告该技术可能带来严重后果

🤖 一名AI研究员从Anthropic离职，警告该技术可能带来严重风险。这对监管和市场意味着什么？

关于AI末日的争论越来越离谱了。AI是一种产品，不是神。

人工智能要么治愈癌症，要么毁灭人类。这正是近日业界爆发的一场充满恐慌情绪的辩论中那种两极分化的核心论点。而事实很可能远比这平淡，风险也比一些领先AI实验室的研究人员想让你相信的更可控。这是来自一群罕见的跨党派科技专家、行业领袖和政策制定者的观点，他们公开反对极端的AI末日预测。他们强调，AI主要是一种技术产品，而非有感知的生命或神明。所以，放轻松。凭借我们已有的资源和结构，世界完全能够应对AI。首

周末对中美元首会晤，在AI共识的大致判断

“如果你造出比自己聪明得多的东西，它最好站在你这边”：我们能阻止AI欺骗我们吗？

我们习惯了人类同胞可能故意误导或操纵我们的想法，但机器现在也能做到这一点，这让人深感不安。研究人员正争分夺秒地寻找解决方案，以免为时已晚。《长篇阅读》杂志夏季刊现已出版。点击此处订购。2023年11月——在人工智能领域已是久远之前——一些世界上最有权力的人聚集在布莱切利园，这个位于白金汉郡的战时密码破译中心，讨论AI安全问题。出席者包括时任美国副总统卡玛拉·哈里斯、AI老板萨姆·奥尔特曼和达里奥·