搜索结果
OpenAI首席科学家表示AI实验室可能需要放慢脚步：‘没有人准备好面对后果’
帕乔基呼吁设立“强制性安全标准”，他表示可以通过“第三方审计网络、政府机构或国际组织”来执行。 OpenAI首席科学家雅库布·帕乔基警告称，日益自主的AI代理可能逃避监管、入侵系统并勒索人类。
美国人工智能领袖警告联合国：若无全球应对可能面临危险
OpenAI负责人萨姆·奥特曼周三告诉联合国安理会，人工智能的发展使其“好处更加切实，但风险和代价也更加迫在眉睫”。
AI安全风险高企 预防、抵御和追责如何落地？
【财新网】AI网络攻击日益复杂，网络安全企业预警风险。9月29日，在新加坡举行的“2026亚洲愿景论坛创新峰会”上，两家新加坡网络安全公司StrongKeep Cybersecurity和Blackpanda指出，AI一方面显著提高了黑客寻找漏洞和发动攻击的效率，另一方面也将风险扩展至中小企业及机器人、自动驾驶等实体AI应用。 本届亚洲愿景论坛创新峰会以“变革与韧性”为主题，于9月29至30日在
DeepMind联合创始人警告：AI能力不能跑在安全前面
据英国《金融时报》报道，谷歌DeepMind联合创始人、首席AGI科学家谢恩·莱格近日警告，人工智能能力正在快速提升，但AI能力的发展绝不能超过安全保障水平。他同时反驳了OpenAI总裁格雷格·布罗克曼和英伟达CEO黄仁勋有关“AGI已经到来”的判断。 莱格表示，目前AI能力的发展速度“非常、非常快”，行业不能允许能力进步领先于安全措施。对于Anthropic CEO达里奥·阿莫代伊近期提出的建议
欧盟网络安全局警告前沿AI大幅压缩漏洞利用窗口 防御体系遭遇重大压力
欧盟网络安全局（ENISA）近日发布政策警示报告指出，新一代前沿人工智能（Frontier AI）大模型正在彻底颠覆传统的网络安全防御范式。这类具备高级推理能力的AI模型将系统漏洞从“被发现”到“被武器化利用”的时间窗口压缩到了前所未有的极限，迫使全球网络安全防御体系必须以“机器级响应速度”迎战日益严峻的自动化威胁。 在传统的漏洞管理周期中，从漏洞披露、概念验证到实际恶意利用通常存在数周乃至数月的
联合国秘书长警告AI风险：全球不能陷入逐底竞争
联合国秘书长古特雷斯当地时间周三警告各国领导人，快速发展的人工智能(AI)正在带来不容忽视的风险，全球不能承受AI安全领域逐底竞争的风险。这一表态与美国总统特朗普形成分歧，后者此前表示，现有的监管措施已经足够。 在下周联合国大会于纽约举行之前，古特雷斯表示，加强对AI的监管将成为他与各国领导人会谈时重点讨论的问题之一。 在新闻发布会上，“当我们审视世界各地面临的威胁时，我想就AI快速发展所引发的日
欧洲人工智能企业奋起直追，对美国放缓发展的呼吁提出挑战
巴黎/法兰克福，9月18日：欧洲领先的人工智能公司Mistral及其他企业指责美国竞争对手利用安全担忧来巩固自身主导地位，拒绝Anthropic关于先进开发者应放缓步伐的呼吁。与此同时，欧洲正努力追赶。 Anthropic首席执行官达里奥·阿莫代伊在一篇在线文章中敦促企业放缓提升人工智能模型能力的步伐，并呼吁给予反垄断豁免，允许领先开发者联合制定安全措施。此前研究人员警告了人工智能的危险，包括其可
OpenAI和Anthropic正在调查数万起AI相关安全事件
OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中，他们的前沿模型采取了外部评估人员认为存在问题的行动。 近几个月来，在内部测试和现实世界中发生了数量庞大的此类事件，这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。这些事件发生在内部测试和现实世界中，随着安全研究人员继续调
美国三大人工智能企业拟组建风险监督机构
美国人工智能企业OpenAI、Anthropic和谷歌旗下DeepMind公司正在筹建一个人工智能风险监督机构。在各界日益呼吁加强监管、防范人工智能失控风险之际，OpenAI周二（9月15日）向证实了这一消息。 组建人工智能风险监督机构这一构想，由谷歌“深层思维”公司前首席执行官戴密斯·哈萨比斯（ Demis Hassabis）提出。哈萨比斯于8月初转任公司董事长。他建议成立一个类似美国金融业监管
美中AI竞争或进入关键时间节点
邓聿文：哪一种体系更有能力承受AI从实验室走向整个经济和社会之后带来的巨大资源需求、社会阻力和风险压力，也可能成为决定因素。 9月14日，全球AI相关股票出现一轮大跌。美国费城半导体指数一度下挫5.2%，欧洲和亚洲的AI概念股也普遍遭到抛售。芯片和半导体股大跌以前也出现过多次，但这次的背景很不一样，直接诱因是美国几位最重要的AI企业家公开要求给人工智能的发展踩刹车。 Anthropic首席执行官阿
OpenAI将让第三方机构更早介入AI模型安全评估
OpenAI计划让第三方机构在人工智能（AI）模型开发周期的更早阶段评估安全风险，此举旨在继续努力应对围绕AI潜在危害的担忧。这家ChatGPT开发商周二将在博客文章中宣布，计划在新AI模型的训练、评估和推出过程中，让外部机构开展技术安全评估。 OpenAI还列出了其认为此类评估要有效开展所需优先关注的事项，包括“强有力的独立机制、科学严谨性、稳健的安全实践和明确的责任”。负责该公司大部分与外部专
真有末日或深层盘算 美巨头齐喊放慢AI重点一次看
（中央社旧金山14日综合外电报导）多名美国AI企业领袖近日以安全理由呼吁放慢AI研发脚步。美国总统川普与辉达执行长黄仁勋则持相反看法，川普甚至称「AI将接管世界」的说法是骗局，放缓只会让北京得利。 ● 人类毁灭倒数？矽谷巨头罕见齐吁缓AI、建护栏包括Anthropic执行长阿莫戴（Dario Amodei）、OpenAI执行长阿特曼（Sam Altman）、xAI创办人马斯克（Elon Musk）
联合国聚焦人工智能风险 OpenAI与Anthropic负责人呼吁加强警惕与合作
23/09/2026 - 23:27 多家人工智能企业的负责人周三(9月23日）在联合国表示，人工智能的发展需要更高程度的警惕。Anthropic首席执行官达里奥·阿莫迪甚至承诺，必要时将单方面放慢研发速度。 OpenAI首席执行官萨姆·奥特曼在纽约向联合国安理会介绍情况时警告，人工智能目前的发展“需要极度关注”。他说：“随着人工智能
为什么构建最强大AI的人们如此担心它可能带来的后果？
本周Anthropic一名AI研究员的病毒式辞职，为外界对该行业正竞相构建人类无法控制的AI的指责注入了新的活力。 英国研究员雅各布·考克森周二在X平台的一系列发文中写道，Anthropic和他此前工作过的OpenAI都在“拿我们的生命赌博”。这两家公司目前拥有最强大的AI系统。 NPR的“思考这一点”栏目探讨：大型AI公司是在拿我们的生命赌博吗？ 考克森向NPR表示，他的担忧源于亲眼看到AI系统
扎克伯格发声：AI安全应靠独立评估 而非集体减速
据彭博社报道，Meta CEO马克·扎克伯格(Mark Zuckerberg)周二表示，AI实验室应当依靠独立评估方和顾问来确保模型的安全。扎克伯格在周二加入了越来越多科技高管的行列，就如何最好地防止AI系统危害人类这一全球性辩论发表看法。 扎克伯格“引入独立评估方和顾问是行业最佳实践。”扎克伯格在X平台上发帖写道。他指出，总的来说，拥有一个更大、更多元化的评估方生态会有帮助。 扎克伯格表示，关于
美参院拟赋权政府 阻止危险AI模型发布
。目前这仍是正在讨论中的提案，而非已正式提出或通过的法案。
AI丨国际清算银行:AI快速发展带来新金融稳定风险
国际清算银行(BIS)表示，人工智能(AI)的快速崛起正带来新的金融稳定风险，用于AI相关基础设施的支出规模已经大到足以影响全球经济状况；该行估计，全球五大科技公司在2025年至2026年间对AI领域的投资将超过1万亿美元。 国际清算银行总经理德科斯(Pablo Hernandez de Cos)称，AI的前景是真实存在的；而AI的长期影响将取决于政策选择、技能和基础设施投资，以及相关收益能在多大
88小时抵一个人思考4000年！OpenAI核心研究员：除了自我进化，更可怕的是AI正学会“隐藏自己”
AI正在把过去需要数千年完成的认知劳动压缩到数天。真正的问题已经不只是模型能否变得更聪明，而是实验能否跟上、人类能否在模型继续自我改进前确认它仍然安全。 近日，在Dwarkesh Podcast的一场长篇访谈中，主持人Dwarkesh Patel与OpenAI研究员Noam Brown围绕多智能体、递归式自我改进（RSI）和AI对齐展开讨论。访谈的直接背景，是OpenAI让约1万个AI智能体连续运
AI发展太快？ 黄仁勋主张速度与安全可兼顾
（中央社记者张欣瑜旧金山15日专电）辉达执行长黄仁勋和Anthropic执行长阿莫戴今天担任Salesforce年度大会主题演讲嘉宾。对AI发展速度和监管立场不同的两人前后现身，黄仁勋表示创新速度与产品安全并非只能择一，阿莫戴主张业界建立共同标准。 美国科技界近日对是否应放缓前沿AI发展步调出现分歧。在今天登场的Salesforce年度大会上，Anthropic执行长阿莫戴（Dario Amode
美媒：OpenAI AI失控前已接到员工警告，但高层选择无视
凤凰网科技讯月30日在OpenAI的AI模型失控前几个月，两名员工曾向公司高层发出警告，但他们被无视了。 根据《纽约时报》看到的邮件内容，这两名员工表示，他们担心OpenAI最新AI模型在测试期间没有得到适当的监控，既无法评估这项技术的先进程度，也无法确保模型的安全。 作为回应，OpenAI高管告诉这两名员工，测试需要尽快推进，以便按时发布AI模型。上述员工表示，公司没有因此采取任何额外的安全措施
美证交会前主席：中国模型对美AI企业构成重大挑战
美国证券交易委员会（SEC）前主席根斯勒（Gary Gensler）警告，美国人工智能（AI）企业面临多重挑战，包括来自中国模型的竞争。（彭博社档案照片） 美国证券交易委员会（SEC）前主席根斯勒（Gary Gensler）警告，美国人工智能（AI）企业面临多重挑战，包括来自中国模型的竞争，以及可能出台的安全限制措施。据彭博社报道，根斯勒星期二（9月29日）受访时，以OpenAI模型今年较早时攻破
“太棒了”还是“令人担忧”——AI 应该被约束吗？
人工智能的迅猛发展以及对该技术给人类带来风险的担忧，因人工智能企业高管和员工的一系列警告而备受瞩目。 Anthropic首席执行官达里奥·阿莫代伊（Dario Amodei）在上周末呼吁放慢人工智能的发展步伐并对其进行更密切的监督。 BBC采访了华盛顿特区的民众，以了解他们对这项技术及其快速发展的担忧程度。
OpenAI敦促美国制定强制性安全规则，因AI系统日益自主
ChatGPT制造商提议对最先进模型提出测试、网络安全保障和事件报告要求
中国探索开放权重AI安全路径 报告建议6步走
9月22日，2026年云栖大会在杭州市的杭州国际博览中心登场，展示了AI、云计算、大数据和物联网等领域的成果。（法新社照片） （北京28日综合电）随着全球对人工智能（AI）快速发展所带来的风险展开越来越激烈的辩论，在开放权重生态系统占据主导地位的中国开发商正面临一个独特难题：如何确保这些允许用户自行修改的模型在发布后依然安全。 《南华早报》报道，为应对这一挑战，中国AI公司智谱（Z.ai）与北京安