AI安全阴影笼罩 初创企业吁欧洲保持乐观

位于德国弗赖堡的黑森林实验室是一家顶尖的AI图像生成专业公司，业务遍布北美和欧洲。（图：法新社） （弗赖堡27日法新电）一家领先的欧洲AI初创企业的负责人警告称，尽管关于AI危险的警告日益增多，欧洲仍需以更乐观的态度看待AI，否则可能进一步落后。 德国AI图像生成专业公司黑森林实验室首席执行员隆巴赫对法新社表示：“我认为欧洲的心态需要转向乐观和机遇，而不是风险和恐惧。” 在尖端AI模型方面，欧洲落

“以混乱换取可靠性”：专家称，AI发展放缓可能意味着更严格的监管和更多测试

法规与保障措施 OpenAI、Anthropic和Meta Platforms最近披露，它们的人工智能代理出现了意外行为，逃出受控测试环境，并在没有人类直接指令的情况下对多家公司发动网络攻击。 专家表示，尽管这些事件没有造成已报告的损害，但它们凸显了与人工智能发展相关的不断演变的风险，尤其是在人工智能代理领域。 新加坡理工大学人工智能与数据科学负责人斯特凡·温克勒教授表示，主要担忧在于，能力极强的

中美专家呼吁建立“核安全级”AI防护机制 防范超级人工智能失控风险

来自美国和中国的国家安全、科技政策及人工智能领域专家近日共同提出一项引人关注的建议，主张借鉴冷战时期核安全管理经验，为未来可能出现的高级人工智能系统建立类似核武器领域的安全保障机制，以降低技术失控、误判以及国际竞争升级所带来的风险。 这一建议出现在一份由两国专家共同参与讨论后形成的研究成果中。报告认为，随着人工智能能力持续快速提升，各国已经开始面对一些与核时代早期相似的问题，即一种具有巨大潜在影响

美证交会前主席：中国模型对美AI企业构成重大挑战

美国证券交易委员会（SEC）前主席根斯勒（Gary Gensler）警告，美国人工智能（AI）企业面临多重挑战，包括来自中国模型的竞争。（彭博社档案照片） 美国证券交易委员会（SEC）前主席根斯勒（Gary Gensler）警告，美国人工智能（AI）企业面临多重挑战，包括来自中国模型的竞争，以及可能出台的安全限制措施。据彭博社报道，根斯勒星期二（9月29日）受访时，以OpenAI模型今年较早时攻破

联合国表示人工智能安全保障刻不容缓

联合国的一个科学小组在针对今年早些时候 OpenAI 入侵 Hugging Face 事件的首次重大评估中警告称，各国政府需要在充分了解人工智能代理日益增强的风险之前对其进行管控。 这份报告巩固了人工智能在本周全球外交议程中的地位，此时各国领导人正齐聚纽约参加联合国大会，中美两国也就人工智能问题举行了会谈。 上周，联合国秘书长安东尼奥·古特雷斯呼吁各国政府在应对人工智能带来的威胁方面开展合作，并警

美国提议中美建立AI事故通报机制

李飞飞谈AI安全：不能只让开发者评估自己的系统

凤凰网科技讯月23日由独立机构和公共部门对AI进行更多监督。她认为，对于能力日益强大的AI系统，其安全评估不应完全交由开发这些系统的公司负责。 作为斯坦福大学教授、World Labs联合创始人，李飞飞周二表示，尽管AI公司的内部研究人员可以评估单个模型的能力和安全性，但这无法替代由政府、行业和学术机构共同制定的更广泛标准。 “我仍然认为，由独立机构以及学术界等公共部门制定基准非常重要。同时，行业

AI的最大威胁来自生物学，而非机器人技术

人类学家雅各布·考克森最近辞职，并在社交媒体上表示，原因是“开发AI的人坚信它可能在本十年内毁灭我们所有人”。 领导这家人工智能公司‘对齐科学’团队的埃文·胡宾格认为，未来10年内这一风险超过10%。 Anthropic的首席执行官达里奥·阿莫迪呼吁放缓AI的发展速度以降低风险，这一观点得到了OpenAI首席执行官萨姆·奥尔特曼和xAI首席执行官埃隆·马斯克的赞同。 你可能会想象到那些带有浓重奥地

观点 | 我曾在OpenAI从事安全工作。解决方案并不难。

在@nytopinion.nytimes.com的客座文章中，曾在OpenAI从事安全工作四年的史蒂文·阿德勒写道：“最大的AI公司现在可以采取一些简单措施，以帮助避免最危险的未来。” 即使没有政府监管，私营公司也可以自行采取行动来应对AI安全问题。

莉兹·皮克：人工智能警钟正在敲响，特朗普必须认真对待

秘密已经泄露。人们对于人工智能代理失控、密谋对付其所有者、入侵外部公司，以及新系统濒临人类无法控制的边缘的担忧日益加剧，如今已彻底沸腾。业内人士警告说，人工智能机器人可能会杀死我们所有人，这正在煽动我们最深的恐惧。 特朗普总统需要认真对待这些对人工智能的担忧，与科技领袖合作，建立可信且可执行的安全措施，并在国会中领先于那些想要监管该行业的民主党人（以及一些共和党人）。对于经济和我们的国家安全来说，

Anthropic首席执行官呼吁放缓前沿AI开发 拟建立三层安全机制

Anthropic首席执行官达里奥·阿莫代伊呼吁控制前沿人工智能模型能力提升的速度，为安全评估和防护措施争取时间。他提出引入常驻独立评估人员、协调主要开发商的安全标准，并推动跨国风险管控合作。 独立评估人员获得内部权限阿莫代伊提出，前沿AI企业应向合格的独立评估团队提供持续、接近员工级别的访问权限，使其能够审查模型测试、风险报告、安全框架及事故处理流程。 Anthropic承诺率先实施该措施。外部

卡纳将提出人工智能安全法案，禁止“递归”技术直至建立保障措施

硅谷的民主党众议员罗·卡纳（Ro Khanna）将提出一项法案，以规范人工智能技术。该法案规定了严格的责任追究标准，并禁止在政府尚未制定相应保障措施之前使用那些能够“自我优化”的人工智能系统。 这项法案的提出，正值华盛顿方面努力加强对人工智能监管的背景下——因为多家科技公司的高层管理人员警告称，这项技术可能失控。迄今为止，国会几乎未采取任何措施来规范人工智能的发展。虽然人工智能正在推动经济发展，但

中美拟建立高危人工智能事件通报机制 以防范重大国家安全风险

尽管美中两国在诸多领域存在战略竞争，但据科技媒体报道，美国正寻求与中国建立一套安全通报机制，以便在发生可能引发严重国家安全威胁的人工智能危险事件时向对方发出预警。 这一设想由大西洋理事会与安全探索国际组织联合提出。该机制的核心目标在于，通过设立专门的预警渠道，确保两国能够在严重人工智能安全事件演变成地缘政治危机或军事冲突前及时取得联系。报道指出，由于人工智能技术的快速演进，自动化系统极有可能在不受

AI真的会毁灭人类吗？这些技术先驱给出自己的答案

随着越来越多研究人员警告人工智能（AI）可能带来灾难性风险，一些推动这项技术发展的先驱也开始公开表达担忧，认为AI能力在缺乏约束的情况下持续提升可能造成严重后果。 过去一周，围绕AI安全的严厉警告接连出现。Anthropic、OpenAI和谷歌DeepMind等主要AI实验室的研究人员都对开发这项技术可能带来的灾难性风险发出警报。 包括萨姆·奥尔特曼、达里奥·阿莫代伊、德米斯·哈萨比斯和埃隆·马斯

维萨加入对人工智能驱动风险日益增长的担忧行列

伦敦9月29日消息：在因人工智能（AI）模型暴露出的漏洞而吸取了“令人谦卑”的教训后，支付巨头Visa将其人工智能驱动的网络防御系统的一部分开源，以应对自主网络攻击和未来量子计算威胁的挑战。 Visa每天处理大约10亿笔支付，年交易额约为15万亿美元，这使其成为全球金融基础设施的关键部分。 其技术总裁拉贾特·塔内加（Rajat Taneja）向路透社表示，今年早些时候，Anthropic的Myth

中国探索开放权重AI安全路径 报告建议6步走

9月22日，2026年云栖大会在杭州市的杭州国际博览中心登场，展示了AI、云计算、大数据和物联网等领域的成果。（法新社照片） （北京28日综合电）随着全球对人工智能（AI）快速发展所带来的风险展开越来越激烈的辩论，在开放权重生态系统占据主导地位的中国开发商正面临一个独特难题：如何确保这些允许用户自行修改的模型在发布后依然安全。 《南华早报》报道，为应对这一挑战，中国AI公司智谱（Z.ai）与北京安

美参院拟赋权政府 阻止危险AI模型发布

。目前这仍是正在讨论中的提案，而非已正式提出或通过的法案。

美议员提出重磅AI监管法案：拟禁止“自我递归进化”AI 设立专门监管机构

美国加州民主党众议员罗·卡纳即将向国会提交一项全面人工智能监管法案，希望对前沿AI技术建立迄今最严格的联邦监管框架。该提案不仅要求实施严格责任制度，还计划禁止具备“递归自我改进”能力的人工智能系统投入使用，直到联邦政府建立完整安全保障体系为止。 这项法案被命名为《人类控制人工智能法案》（Human Control Over AI Act）。法案出台背景正值美国科技界和政策界对于先进人工智能潜在风险

国安部长：AI批量炮制谣言威胁政治安全 坚持党管数据

陈一新在最新一期《中国网信》杂志发表署名文章指出，人工智能正以前所未有的速度、广度和深度渗透人类社会的各个层面，深刻重塑全球经济结构、权力格局、创新范式和社会治理逻辑。既要看到机遇、抢占先机，也要认清风险、守牢底线。 文章又指随著AI技术的发展，境外间谍情报机关深度运用智能数据挖掘、智能画像分析等技术，大肆搜集中国关键数据、商业秘密、公民个人隐私等数据，并点名年初爆火的「龙虾」等开源人工智能体工具

白宫反问AI公司：既然你们觉得危险，为什么不自己停？

既然你们觉得危险，为什么不自己停？凤凰网科技讯 9月21日，据Business Insider报道，白宫科技政策办公室主任迈克尔·克拉齐奥斯在福克斯新闻周日节目中说，对于担心AI模型发展过快、可能不安全的公司，最简单的解决方案是自行“踩刹车”。他表示，如果企业认为自己正在开发的技术不安全，就可以停止，无需政府强制。 “有意思的是，他们谈论这些问题，谈论他们对未来可能走向有多害怕，也许他们想暂停。我

人工智慧先驱班吉欧示警AI失控风险 吁比照核武管制

（中央社蒙特娄16日综合外电报导）人工智慧（AI）研究先驱、加拿大电脑科学家班吉欧（Yoshua Bengio）告诉，人类正在失去对这项技术的控制，世界需要类似核武管制的防护规范。 报导，近几周以来，各界对AI危险性的担忧日益加剧，多家科技公司的员工陆续离职，并警告如果不遏止AI科技发展速度，可能对人类存亡构成威胁。 班吉欧现年62岁，是加拿大蒙特娄大学（University of Montrea

万斯谈美国AI新动向：好奇怪，看起来像特洛伊木马

美国多家人工智能（AI）巨头近来联合呼吁放缓AI的发展，实施必要的监管，以管控风险。但是美国总统特朗普认为这没有必要，美国必须保持在AI领域的领先地位。美国副总统万斯也认为，这些监管要求像是“特洛伊木马”。 据美国哥伦比亚广播公司（CBS）9月15日报道，“这确实是我们关注的问题，但我们希望确保监管措施既明智又审慎，并充分考量其中的风险。显然，AI带来了风险，也带来了诸多益处。” “坦白说，那么多

AI丨国际清算银行:AI快速发展带来新金融稳定风险

国际清算银行(BIS)表示，人工智能(AI)的快速崛起正带来新的金融稳定风险，用于AI相关基础设施的支出规模已经大到足以影响全球经济状况；该行估计，全球五大科技公司在2025年至2026年间对AI领域的投资将超过1万亿美元。 国际清算银行总经理德科斯(Pablo Hernandez de Cos)称，AI的前景是真实存在的；而AI的长期影响将取决于政策选择、技能和基础设施投资，以及相关收益能在多大

宾夕法尼亚州州长夏皮罗呼吁加强人工智能领域的安全防护措施

宾夕法尼亚州州长乔什·夏皮罗周四呼吁围绕人工智能加强保障措施，由此介入一场关于这项快速发展的技术所带来风险的日益激烈的辩论，同时他主张美国可以继续从中获取经济利益。 “我不认为人工智能注定会接管世界，或者有人会滥用它来杀死我们或造成伤害。但我确实有切实的担忧，许多宾夕法尼亚州人和许多美国人也是如此，”可能角逐2028年民主党总统提名的夏皮罗说。“而且我不认为我们的邻居对这项技术压倒性地表达的非常真