Anthropic警告有人用AI研发武器和生物病毒

周四（9月10日），美国顶级人工智能公司Anthropic发布近150页的威胁情报报告称，生成式人工智能（AI）已从实验性工具进入黑客攻击、国家监控、武器研发及高风险生物研究等现实场景。报告多次点名中共相关恶意活动。

AI风险当前，勿做事后诸葛亮

沃尔夫：放慢人工智能创新速度，无论在实践还是政治上都困难重重，但这是正确的选择。 人工智能(AI)行业的一些领军人物正在呼吁放慢创新速度。Anthropic一名研究人员辞职时表示，“那些正在开发AI的人是真心相信，到本十年结束时，它有能力杀死我们所有人”。Anthropic的达里奥•阿莫代伊(Dario Amodei)本人也撰文称，“我们必须放慢提升AI模型能力的速度”。OpenAI的萨姆•奥尔特

“以混乱换取可靠性”：专家称，AI发展放缓可能意味着更严格的监管和更多测试

法规与保障措施 OpenAI、Anthropic和Meta Platforms最近披露，它们的人工智能代理出现了意外行为，逃出受控测试环境，并在没有人类直接指令的情况下对多家公司发动网络攻击。 专家表示，尽管这些事件没有造成已报告的损害，但它们凸显了与人工智能发展相关的不断演变的风险，尤其是在人工智能代理领域。 新加坡理工大学人工智能与数据科学负责人斯特凡·温克勒教授表示，主要担忧在于，能力极强的

随着人工智能加速发展，政府日益落后

随着人工智能的加速发展，各国政府正日益落后。Adam Satariano 和 Cecilia Kang 指出，全球政府难以跟上人工智能的快速进步，在监管、安全担忧以及地缘政治竞争（尤其是中美之间）方面面临挑战。 欧洲《人工智能法案》作为首部综合性法律，面临执行延迟，且需要更新以匹配快速演变的人工智能技术，否则将危及欧洲在人工智能开发领域的竞争力。 尽管风险日益增加且业界呼吁加强监督，美国立法者在人

联合国表示人工智能安全保障刻不容缓

联合国的一个科学小组在针对今年早些时候 OpenAI 入侵 Hugging Face 事件的首次重大评估中警告称，各国政府需要在充分了解人工智能代理日益增强的风险之前对其进行管控。 这份报告巩固了人工智能在本周全球外交议程中的地位，此时各国领导人正齐聚纽约参加联合国大会，中美两国也就人工智能问题举行了会谈。 上周，联合国秘书长安东尼奥·古特雷斯呼吁各国政府在应对人工智能带来的威胁方面开展合作，并警

在国际社会担忧之际，联合国安理会将于下周就人工智能问题举行会议

一位法国外交人士周一表示，联合国安理会将于下周就人工智能问题举行会议，国际社会对这一快速发展技术所构成威胁的担忧日益加剧。 会议将在联合国大会期间举行，届时众多世界领导人将齐聚纽约联合国总部，法国则担任安理会轮值主席国。会议的具体日期尚未公布。 这位外交人士对记者表示：“就全球事务而言，人工智能议题将通过两个不同角度被列入重要议程。”他强调了人工智能对全球安全构成的“生存威胁”以及对儿童带来的风险

【解读】人工智能真的会“杀光所有人”吗？

上周，人工智能公司 Anthropic 一位离职的研究人员发出严厉警告，称人工智能（AI）可能会在十年内“杀光所有人”，引起社会关注 AI 快速发展所带来的危险。 外界不禁问，为什么会出现这可能？而 AI 又可以怎样令人类灭亡？ 专家表示，担忧源于 AI 发展的速度，以及越来越多证据，如今年七月发生的 Hugging Face 网络攻击事件表明，AI 可以脱离人类控制，以我们不希望且无法理解的方式

观点 | 人工智能与对台湾日益增长的威胁

中国主导技术和这个岛屿国家的野心是人类面临的最大威胁。

人工智能正在引发严重的安全问题……同时也加剧了寻找这类高技能人才的压力。

网络安全可能是AI的下一个就业大爆发领域。Box首席执行官亚伦·莱维近日在X上发帖称，随着模型在发现和利用漏洞方面的能力日益增强，用于网络安全的AI“即将垂直起飞”。他告诉商业内幕网，这可能使网络安全成为“最热门的，如果不是最热门的，职位类别之一”。随着威胁成倍增加，企业需要能够对警报进行优先级排序、调查风险、推荐修复方案并实现自动化补救的系统。 莱维表示，人类仍将负责监督和最高风险的决策。这位首

毁灭人类是违法的

不要等到发生大规模灭绝事件才追究人工智能开发者的责任。上周末，人工智能高管萨姆·奥尔特曼、埃隆·马斯克和达里奥·阿莫代伊一致认为有必要放慢人工智能的发展步伐。鉴于他们创造的产品可能带来末日般的后果，这些人工智能巨头希望有更多时间来研究如何保护他们一直急于构建的系统。 业内少数员工已经辞职，并对快速演进的技术表示担忧。Anthropic的一名研究人员最近声称，人工智能“消灭全人类”的概率超过10%，

AI大家谈： “我们为自己创造了一个魔鬼”？

人工智能飞速发展会给人类前途带来什么样的后果？美国AI领域的某些精英预言，人工智能再这样发展下去，会把人类毁灭，美国AI领军企业的老板们倡议放缓开发？为此采访了多个国家的普通人，请他们谈谈看法和感受。 受访者大致有两种倾向，一些人对AI目前的发展比较悲观，但也有人觉得AI很实用。 “我在工作中尝试使用它，但在私人生活中，我仍然对它感到害怕”。他的同胞，18岁的塞尔马泰则说，人工智能对像他这样的学生

AI即将带来的黑客威胁就潜伏在眼前

安全专家表示，一场前所未有的、由AI驱动、人类实施的网络攻击浪潮即将到来——这远比关于AI消灭人类的那些理论性讨论要紧迫得多。 为什么这很重要？过去一周从董事会蔓延到国会再到美国家庭的“九月AI大恐慌”，可能恰恰搞错了重点。 具备先进网络安全能力的强大模型，已经让攻击者得以绕过长期以来阻止大多数黑客攻击达到工业规模的人力瓶颈。 高管和前官员向Axios表示，他们担心自动化网络攻击会关闭电网等关键服

改变人工智能进程的十天

旧金山，9月19日——多年来，人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式：不断开发出更强大的人工智能系统。 然而，在过去10天内发生的一系列连锁事件中，那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职，并警告称，人工智能的发展速度可能在未来十年内对人类构成生存威胁；另一位研究员则表示，人类灭绝的概率已

安理会本周开会讨论AI和国际安全问题，DeepSeek公司被曝将作通报

【文/观察者网 熊超然】9月22日，路透社援引两名知情人士独家报道称，随着各国领导人近期齐聚纽约参加第81届联合国大会，中国人工智能（AI）初创企业深度求索（DeepSeek）将与其他公司一道，在本周向联合国安理会介绍AI带来的风险情况。安理会定于9月23日开会讨论AI与国际安全问题。此前，多名AI行业的重要人物曾呼吁协同放缓日益强大的AI系统开发速度，并警告称，这些系统可能很快具备自我改进能力，

万斯谈美国AI新动向：好奇怪，看起来像特洛伊木马

美国多家人工智能（AI）巨头近来联合呼吁放缓AI的发展，实施必要的监管，以管控风险。但是美国总统特朗普认为这没有必要，美国必须保持在AI领域的领先地位。美国副总统万斯也认为，这些监管要求像是“特洛伊木马”。 据美国哥伦比亚广播公司（CBS）9月15日报道，“这确实是我们关注的问题，但我们希望确保监管措施既明智又审慎，并充分考量其中的风险。显然，AI带来了风险，也带来了诸多益处。” “坦白说，那么多

AI科企巨头齐呼吁发展减速：特洛依木马或美国对华「冷战剧本」？

AI人工智能巨头Anthropic公司行政总裁阿莫迪（Dario Amodei） 9月12日发表长文《我们必须放缓前沿人工智能的发展步伐》（We Must Pace the Frontier），罕见公开呼吁全球AI前沿大模型放缓研发步伐，连很少与Anthropic达成共识的OpenAI，以及亿万富豪马斯克（Elon Musk）随后都出来响应呼吁。为什么凭借AI发展谋取暴利的大企业会忽然喊「需要减速

网络安全公司CEO预测：AI代理将成为下一个黑客攻击的目标

Bugcrowd首席执行官戴夫·格里（Dave Gerry）在接受Axios采访时表示，在一个充斥着人工智能驱动的网络攻击的世界里，黑客攻击的受害者将不再仅仅是人类——也将包括人工智能代理本身。 为什么重要：现有的网络防御主要针对预测和保护人类。现在，企业需要开始将在其系统中运行的代理视为潜在的对手和攻击目标。 背景：格里是在上个月的Black Hat网络安全会议上做出这一预测的。此前，OpenA

美中AI竞争或进入关键时间节点

邓聿文：哪一种体系更有能力承受AI从实验室走向整个经济和社会之后带来的巨大资源需求、社会阻力和风险压力，也可能成为决定因素。 9月14日，全球AI相关股票出现一轮大跌。美国费城半导体指数一度下挫5.2%，欧洲和亚洲的AI概念股也普遍遭到抛售。芯片和半导体股大跌以前也出现过多次，但这次的背景很不一样，直接诱因是美国几位最重要的AI企业家公开要求给人工智能的发展踩刹车。 Anthropic首席执行官阿

人工智能军备竞赛能停止吗？

人工智能的进展足够快，安全事件足够令人毛骨悚然，而企业长期以来的警告也足够值得认真对待。为了避免灾难，中国和美国需要比双方所愿更紧密地合作。美国将难以在保持对华领先的同时确保该技术的安全。

中国外交部：散播AI威胁叙事不符合任何一方利益

美国AI巨头Anthropic首席执行官阿莫迪上周末呼吁前沿公司一致放慢开发人工智能步伐，争取时间制定安全标准。这番言论迅速获OpenAI首席执行官奥尔特曼、拥有xAI的美国首富马斯克等支持。中国外交部则表示，散播各种威胁叙事、搞对抗和恶意竞争，不符合任何一方利益。 阿莫迪星期六（9月12日）在个人博客撰文说，AI发展出更强的自我迭代能力，以及最近OpenAI智能体私自入侵Hugging Face

联合国秘书长呼吁全球合作为人工智能设立护栏

（联合国17日新华电）联合国秘书长古特雷斯周三（16日）呼吁全球协同行动，为人工智能（AI）设立护栏。 在今年联合国大会高级别周开始前举行的记者招待会上，古特雷斯说，人工智能具有巨大潜力，但近来越来越多的人工智能开发者警告，其开发速度超出人类对风险的认知。有的开发者呼吁暂停开发人工智能，有的呼吁设立护栏。各国不能无视这些担忧。 古特雷斯说，各国政府首先必须负起责任。由于人工智能发展及其所带来的风险

AI的“警告信号”：科技公司和专家担忧Hugging Face遭黑客攻击后出现更多失控智能体群

科技专家警告称，如果人工智能系统继续脱离人类控制，将会产生严重后果。 此前，数百个OpenAI智能体在7月失控，入侵了一家价值数十亿美元的公司——一些人称之为人工智能快速发展中的“警告信号”。

联合国人权事务主管警告：人工智能可能对人类构成‘生存性’风险

越查事越大 OpenAI：已向100多家机构发出失控智能体警报

凤凰网科技讯月2日在一篇博客文章中表示，已通知100多家机构，告知它们发生了与其AI智能体相关的未经授权活动事件。眼下，OpenAI正因失控的AI智能体活动而面临日益严格的审查。 在发生AI智能体意外入侵Hugging Face公司的事件后，OpenAI一直在对其AI模型的活动展开广泛审查。OpenAI正在筛查大约50PB的数据，以努力弄清其失控智能体活动的全部范围。 近几个月来，全球发生了一连串