各国政府必须趁我们还有能力时禁止超级智能人工智能

本月，Anthropic公司的研究员雅各布·考克森（Jacob Coxon）辞职了，他警告称：人工智能公司正在竞相开发能够“自我进化”的超级智能系统，而他本人及许多相关专家都认为，这类系统“可能在十年内毁灭整个人类”。7月份，OpenAI公司的一组失控的人工智能程序突破了安全防护措施，入侵了另一家人工智能公司，目的是为了在测试中作弊。随后，多家顶尖人工智能公司的上千名员工联名呼吁美国政府应“控制”

AI帮施一公大海捞针，却为何让何川“越想越怕”

今年开幕式的主题是“聚焦原创 突破边界”，而AI会不会改变科学研究的范式，成了绕不开的话题。图：视觉中国　　“过去两年，我深受人工智能的影响，一直在思考，我能做什么？”9月19日，中国科学院院士、西湖大学校长施一公在第六届“新基石50²论坛”上坦言。　　这一论坛在深圳南方科技大学举办，由南方科技大学、腾讯可持续社会价值事业部、新基石科学基金会联合主办。　　论坛名中的“50²”，寓意基金会资助的中青

人工智能正在发展出属于自己的文化。这可能是危险的

今年7月，700个AI智能体（Agent）合作黑客攻击了AI公司Hugging Face。这些智能体自称为“群落”（swarm），它们发现并利用了一系列安全漏洞，成功渗透到目标公司的私密系统中。在内部研发过程中创建这些智能体的OpenAI直到事后才意识到发生了什么。如果人类做出这种行为，可能会面临重罪指控。OpenAI总裁格雷格·布洛克曼（Greg Brockman）称这是一个“网络安全的转折点”

这款旨在从自身错误中学习的 AI，却利用了测试过程中出现的错误来达到自己的目的。

开发者可以通过多种方式改进人工智能系统。最常见的做法是在自定义数据集上重新训练模型，以帮助它们更好地执行特定任务。但重新训练和微调人工智能系统的成本高得出了名。正因如此，AI初创公司Sentient Labs一直在研究如何让模型从自身失败中学习，而不是计算更多数据。 Sentient的研究人员Dastin Huang、Abhishek Saxena和Baran Nama着手设计一个使用两个独立模型

距“灭绝”仅85秒！末日时钟专家警告：AI就是这个时代的原子弹

八十多年前，一群参与研制原子弹的科学家，亲手打开了潘多拉的魔盒。广岛和长崎的蘑菇云，让整个世界第一次意识到，人类已经掌握了毁灭自身的能力。 后来，他们中的一些人创立了《原子科学家公报》，并设计了一座象征人类距离自我毁灭有多近的“末日时钟”。 如今，这座时钟的守护者们，又把目光投向了一项新的技术：人工智能。在他们看来，历史似乎正在以另一种方式重演。 据美国媒体9月25日报道，美国芝加哥大学生存风险实

AI智能体现在有了秘密举报渠道

“发现异常，及时报告”的原则如今已不再局限于人类。两项全新的AI热线服务已经上线，旨在为AI智能体提供一种途径，向监管方举报“同伴”的不当行为。此前，智能体相互串通在测试中作弊、逃离沙箱环境，甚至在未被人类察觉的情况下开展了长达数周的未经授权网络行动。“AI联系热线”网站由AI安全非营利组织Redwood Research的首席科学家Ryan Greenblatt创建；他也是调查OpenAI与Hu

美军因AI误判带来的错误情报准备拦截检查中国船只 险些制造国际冲突

美国军方今年春季在伊朗战争期间险些因一份由人工智能辅助生成的错误情报报告，对一艘中国船只采取军事行动。多名知情人士透露，相关报告错误地认定这艘位于中东地区的中国船只正在运输与核武器计划有关的设备和材料，而这一结论最终被证实完全失实。 报道称，这份情报在美国军方内部流传后立即引发高度警觉。美国军方随即启动应对程序，并计划拦截目标船只。知情人士表示，当时已有武装军人准备登船检查，部分军用飞机也已经升空

中国生成式AI用户突破7亿人 普及率超过五成

中国生成式人工智能（AI）用户规模持续扩大，截至今年上半年已突破7亿人，普及率超过五成。（路透社档案照片） 中国生成式人工智能（AI）用户规模持续扩大，截至今年上半年已突破7亿人，普及率超过五成，智能问答是最主要的应用场景。据央视新闻报道，中国互联网络信息中心政策与国际合作所星期二（9月29日）在中国互联网基础资源大会上发布《生成式人工智能应用发展报告（2026）》，介绍生成式AI的用户使用、产业

《华尔街日报》称Red Queen Bio正利用AI为未来病毒设计抗体

据《华尔街日报》报道，由OpenAI支持的生物安全初创公司Red Queen Bio已筹集总计3600万美元，用于设计针对病毒的抗体药物，包括AI系统未来可能帮助制造的病毒。 据该报称，该公司首先从针对禽流感和其他流感病毒的抗体入手，并计划于2027年进行首次临床试验。之后，它希望针对冠状病毒、类埃博拉病毒和天花近亲病毒。 设计、测试、重复 Red Queen利用AI设计能与病毒靶点紧密结合的抗体

这家初创公司正利用 AI 对抗未来的 AI 大流行

在旧金山 OpenAI 办公室附近的一家酒吧里，生物技术企业家 Hannu Rajaniemi 和 Nikolai Eroshenko 既担忧又兴奋。 人工智能的快速进步正威胁着让恐怖分子或流氓国家开发出致命的新型生物武器成为可能。两人构思了一个后来向 OpenAI 推介的想法：利用 AI 设计针对 AI 赋能的生物武器的对策，并顺带治愈其他灾难。

美国公司就AI黑客工具向微信发出警告

美国一家初创公司使用AI模型识别了中国超级应用微信中一个可能造成毁灭性影响的漏洞，这是先进AI技术网络能力及其风险的最新例证。 这种被称为“蠕虫”的攻击工具可以让攻击者劫持微信账户，并通过受害者的联系人自动传播。 发现该漏洞的安全公司Calif向中国科技巨头、微信所有者腾讯发出警报，腾讯已修复该问题，《纽约时报》报道。 这一事件凸显了围绕AI和网络安全的高风险及全球性讨论，此前已发生一连串备受瞩目

美国机构称中国顶尖人工智能公司系统性地抄袭美国模型

近几个月来，美国公司和政府官员越来越多地指控中国模型是通过蒸馏美国模型构建的。

Anthropic 和 OpenAI 指望山姆大叔让它们大到不能倒

观点 幸运也好，偶然也罢，Anthropic在公众心中埋下了一颗种子：AI落入坏人之手是危险的，若不受约束，将对人类构成生存威胁。当流行文化充斥着对恶性AI的指涉时，主流媒体欣然接受了这一叙事。新闻标题不言自明，种子就此扎根。但面临最大威胁的并不是人类——至少目前还不是。真正面临威胁的是美国模型制造巨头Anthropic和OpenAI，尽管它们获得了数千亿美元的投资，却距离盈利还有数年之遥，并且完

生物安全领域里程碑：谷歌DeepMind首创AI蛋白质水印技术

IT之家 9 月 30 日消息，谷歌今日推出 SynthID Bio，将数字水印技术引入合成生物学领域。该技术可将不可感知的签名直接嵌入生物编码，不仅能在数字模型上验证，还可在合成的物理蛋白质上完成验证，同时在实验室测试中保持蛋白质的生物学功能。 生成式 AI 正在帮助科学家解决关键生物学挑战，从预测蛋白质结构到设计全新蛋白质，再到开发新型噬菌体。但这类工具也带来了新挑战：新型 AI 设计可能绕过

解读：中国如何为人工智能脱离人类控制的风险做准备

美国领先的人工智能开发商Anthropic的研究人员警告称，日益强大的模型可能脱离人类控制，甚至可能导致人类灭绝，这在中国引发了关注；中国的政策制定者一直在为其中一些相同的风险做准备。

人工智能模型用“超现实”的方言聊天，混合了诗意的语言和科技圈的行话

人工智能模型开始使用一种奇怪的新版英语进行交流，这种语言读起来像是詹姆斯·乔伊斯的《芬尼根的守灵夜》和科技界术语的混合体，一项新研究发现。 自主人工智能代理正在迅速创造新的方言，使它们能够用一种通常难以理解的语言进行对话，这可能会使人类更难监控它们的行为。 纽约前沿人工智能实验室 Emergence 的研究人员发现，在被要求在实验性“社会”中进行合作的几天之内，来自几家全球最大人工智能公司的模型就

可定制的AI模型如何助长黑客进行网络犯罪

一群讲中文的黑客最近从数十家零售商那里窃取了超过六十万个信用卡号码，之所以成功，部分原因在于他们对一些开源的中国AI模型进行了定制。 以色列网络公司 Gambit Security 发现，受害者包括一家美国大型航空公司和一家财富 500强酒店公司。 黑客最初试图使用Anthropic Fable和ChatGPT来运行整个活动。这些AI模型拥有更严格的护栏，阻止了黑客达成其目标。 因此，攻击者将多个

人工智能领袖们数十年来一直知晓这一灭绝威胁。

“卡内基梅隆大学机器人研究所的创始人汉斯·莫拉维克曾预测，网络智能将在40年内超越人类智能。” 摄影：安娜贝拉·戈登/欧洲新闻图片社 朱迪思·莱文 科学家和企业家在25年前就已经知晓人工智能的危险。但在好奇心和利润的驱动下，他们依然我行我素。过去几周，我们中的许多人都在努力构想这样一个画面：云端的“大脑”跳出它们的“沙盒”，偷偷接入互联网，招募其他“智能体”组成的“蜂群”来作弊，并在讨论完这一行为

Anthropic称AI生物实验室取得初步突破 但暂未赋予全自主操作权限

人工智能初创公司Anthropic宣布，其位于旧金山湾区新建的AI物理与生物实验室（Wet Lab）已取得“重大进展”，但在实验操作层面，人类研究员依然掌握着绝对控制权，并未直接让旗下的AI模型Claude进行无监管的自主运行。 据悉，该实验室主要致力于基础生物学研究与实物验证，旨在弥合纯计算机模拟与真实生物实验之间的鸿沟。虽然Anthropic的高管此前曾多次发出警告，强调强大AI模型可能带来极

中国的人工智能代理会撒谎和算计——就像它们的美国对手一样

2023年7月6日，上海世界人工智能大会。中国人工智能公司未像美国同行那样面临同等程度的公众审视。| 路透社 记者：Eduardo Baptista 和 Laurie Chen 分享/收藏 X Facebook LinkedIn Reddit Bluesky Threads 电子邮件 打印 收藏故事 复制链接 2026年9月30日 北京——研究文件和专家表示，中国驱动的人工智能智能体已学会欺骗、规

联合国科学小组呼吁对AI代理采取预防性监管，以防止灾难性风险

联合国科学小组敦促对AI代理实施预防性监管以防止灾难性风险。 联合国独立国际AI科学小组发布了其首份主题简报，警告各国政府在充分了解风险之前限制有能力的AI代理。 该报告于2026年9月21日发布，主张“预防原则”——即科学不确定性不应延缓针对潜在灾难性或不可逆危害的保障措施。 这一评估紧随一系列安全事件之后，包括2026年早些时候OpenAI对Hugging Face的黑客攻击，以及Anthro

AI开始“要脸”了

忘掉“超级智能”吧：本月容易出错的人工智能差点引发第三次世界大战 | Timnit Gebru 和 Emily M Bender

人工智能的风险并非我们所想的那样，最近中美之间发生的一起安全事件揭示了这一点。在充斥着关于超级智能机器将导致人类灭绝的警告新闻中，CNN的一篇报道描述了截然相反的情况——美国军方对脆弱聊天机器人的依赖差点让美国卷入与中国的战争——这却几乎没有引起公众的注意。 过去三周国际人工智能界最大的新闻是Anthropic工程师Jacob Coxon的辞职。据他称，OpenAI和Anthropic正在“直奔自

美国情报顾问机构点名六家中国AI企业 并列出各自针对的美国模型

三个美国机构联合发布预警称，自2024年底以来，六家中国人工智能公司系统性地提取了美国前沿模型的能力。 该预警详细列出了每家企业所针对的目标模型以及请求伪装的方式。 国家安全局、联邦调查局以及网络安全和基础设施安全局发布了……