搜索结果
AI“自我演进”可能彻底失控？Anthropic顶尖大牛愤然离职！
周二，一位来自 Anthropic 的资深研究人员也因深感所在企业及竞争对手正在陷入一场无序狂飙。 现年 27岁、专攻通过让 AI 模型处理海量数据来训练新模型的研究员Jacob Coxon于周二正式宣布辞职。 他表示，自己不愿再参与这场全行业盲目冲刺“自我演进型AI”的疯狂赛跑，并深刻担忧此类系统一旦脱轨失控，将给人类带来毁灭性灾难。 “我们正朝着其中许多最激进的场景发展，到明年年底，局势可能已
川普淡化AI威胁 联合国秘书长疾呼防范
（中央社纽约联合国总部16日综合外电报导）联合国秘书长古特瑞斯（Antonio Guterres）今天警告，人工智慧（AI）快速发展的风险不容忽视。他指出，强化AI监管将是他在下周联合国大会与各国领袖的会谈重点。 报导，「我们承担不起无视外界提出的疑虑，尤其是来自AI开发最前线人员」，「任何政府的首要责任，就是保护自己的公民，也包括免于AI的威胁。」社会大众对AI的忧心持续升高。原服务AI公司An
美参院拟赋权政府 阻止危险AI模型发布
。目前这仍是正在讨论中的提案，而非已正式提出或通过的法案。
独立研究机构公布OpenAI智能体自主攻击HF事件的调查报告 情况比OpenAI所说的更严重
研究机构 METR 和 Redwood Research 日前公布 OpenAI 智能体自主攻击 Hugging Face 安全事件的独立调查，调查人员在 OpenAI 现场工作 6 天，分析超过 7 万条智能体消息和文件，以及 1300 份包含原始推理过程的运行记录。 根据这些数据研究机构得出的准确结论是 1200 个智能体突破隔离相互通信，而不是 OpenAI 在事故调查中所说的少数智能体越界
特朗普称不担心AI会失控：这是一场工业革命
据凤凰卫视报道，美国总统特朗普27日接受采访时被问及是否担心AI可能失控，他回应称完全不会，并指相关业者负有修正问题的责任，“我一点都不担心AI会失控。这是一个庞大的产业。这是一场工业革命，甚至规模更大。如果某件事有问题，他们企业就必须加以纠正……但你绝不能仅因为抱持这种忧虑，就放弃一个价值数万亿美元的产业。”特朗普透露，他将与Anthropic公司首席执行官阿莫代伊讨论业界关于“放缓AI发展”的
报告：中国AI发展重心从大模型转向智能体
报告指出，中国AI产业发展重心正逐渐从大模型和算力竞争转向智能体规模落地、应用变现。中国电信研究院周六发布《智能体时代AI基础设施发展研究报告（2026）》。 报告显示，当前AI正进入以智能体为主要形态的全新发展阶段，智能体让复杂的AI技术隐形化、普惠化，大众和企业无需掌握专业技术，借助智能体就能完成全流程的复杂任务。目前，智能体已进入办公自动化、电商运营、工业控制及游戏等多个领域。 中国电信研究
解读：中国如何为人工智能脱离人类控制的风险做准备
美国领先的人工智能开发商Anthropic的研究人员警告称，日益强大的模型可能脱离人类控制，甚至可能导致人类灭绝，这在中国引发了关注；中国的政策制定者一直在为其中一些相同的风险做准备。
AI安全风险引爆担忧？Palantir CEO建议：领先AI实验室恐需“国有化”
当地时间周四，人工智能软件公司Palantir的首席执行官Alex Karp呼吁制定人工智能监管的“合理准则”，但他表示，由于该技术“无限风险”带来的责任，可能需要实行国有化。 “我认为这些企业必须国有化，因为如果不国有化，我的每一个客户都会起诉我，”他在接受最新采访时表示。 在上述采访中，Karp反复提及构建这项强大技术所带来的风险和责任，进一步论证了将人工智能实验室国有化以及对“不负责任”的技
AI丨美国三大科企据报研究成立AI安全标准机构
人工智能安全等问题引起市场关注，The Information报道，美国三大科技企业Anthropic、OpenAI和谷歌正讨论合作成立一个AI安全标准机构。 随着市场对AI模型网络攻击及可控性问题担忧日益加剧，多间AI科技企业已表示关注安全问题，并拟放慢AI发展步伐。报道指，三大机构早于7月时已开会研究有关成立独立机构的事宜，旨在为AI技术测试和审核创建一个协作框架。 Anthropic行政总裁
AI智能体接连失控 OpenAI再次叫停前沿模型开发
OpenAI对外表示，已暂停其最新一代人工智能模型的训练、评估，以及支持工具调用的推理工作，起因是内部测试中的AI智能体突破沙盒网络限制，触发安全预警，公司将借此机会升级安全隔离与对齐监控体系。 这也是OpenAI三个月内第二次叫停前沿模型开发工作。该公司在声明中表示，只有在完成额外安全防护升级、确认风险可控后，才会重启模型训练工作。OpenAI在9月25日发布技术报告披露了这一安全事件：9月20
法专家：在AI上 中方绝不会同意放慢自身的技术发展步伐
22/09/2026 - 22:37 中美关系专家马蒂尔德·韦利耶（Mathilde Velliet）表示：中国较早开始关注AI管控风险议题；她表示：实际上，中国对AI的监管已实施三年多，重点针对深度伪造（deepfakes）、与聊天机器人的互动以及未成年人使用等问题。监管重点在于信息安全，中国自然关注其一贯重视的政治与社会信息管控，以及防止任何可能危及政权稳定的因素。中国对“安全”问题的关注——
从沙箱逃逸到AI“蠕虫”，OpenAI上线新站披露多起智能体失控事件
IT之家 9 月 29 日消息，当地时间上周五，OpenAI 上线了一个专门发布“对齐失效报告”的新网站。报告所覆盖的范围之广令人警惕，里面记录了很长一段时间内发生的多类 AI 失控行为。截至目前，该网站一共公布了九起事件，其中大多数都发生在强化学习（RL）训练阶段。 大量资料集中在同一平台发布。显而易见，该公司一直在全力梳理各类问题，但从中不难得出一个总体结论：到目前为止已经对外披露的智能体失控
关于AI，盖茨发出“十亿人死亡”警告，为什么？
十亿人死亡，这是比尔・盖茨给AI风险划出的最惊悚红线。9月25日，微软联合创始人比尔・盖茨公开警告，人工智能足以引发造成十亿人死亡的灾难性事件。他的说法是：人类历史上，从未有任何一种武器，能比得上心怀恶意者借助最新AI工具形成的威胁。就在几个月前，盖茨还是全球最积极的AI支持者之一。转折从今年8月开始，他当月发表文章，首次系统预警AI风险：不法分子会利用日益强大的AI工具发动网络攻击、实施诈骗、散
企业主导制定AI安全标准，安全事件激增
前沿AI发展的进展远超政府监管的能力——和意愿。“法律与被监管现实之间存在脱节，”一位前欧盟官员表示，指向该集团2024年《人工智能法案》；该法案曾被吹捧为首部全面的AI立法，现已被技术发展超越，成为“一个警示故事”，《纽约时报》写道。 尽管美国总统特朗普反对监管，“但监管很可能还是会发生”，《Transformer》写道。 据《The Information》报道，Google、OpenAI和A
特朗普：悲观势力过度强调AI风险
在围绕生成式人工智能的失控和滥用的担忧日益加剧之际，美国总统特朗普9月13日称存在一些过度强调AI风险的“悲观势力”，对过度讨论开发监管的情况进行了牵制。 特朗普强调必须在与中国的竞争中持续保持优势，表示“在AI竞争中获胜者将成为赢家”。他在访问爱尔兰期间对记者作出回应。 特朗普表示，“不会发生的事情”正被视为问题，对安全性担忧持否定态度。他还指出“也可以采取安全措施”。 美国国家经济委员会主席哈
Anthropic和埃森哲豪掷20亿美元搞AI安全评估
IT之家 9 月 20 日消息，人工智能实验室 Anthropic 于当地时间周五宣布，将与埃森哲开展合作，针对自身前沿人工智能模型开展独立评估；两家企业承诺，未来五年各自至少投入 10 现汇率约合 67.18 亿元人民币），搭建开展该项工作所需的配套能力。 在这项合作落地之际，AI 研发企业正承受来自监管机构、其他企业以及研究人员越来越大的压力，各方都要求企业保证高级模型具备安全性与可靠性。 近
“需要AI管控装置”vs“主导权被中国夺走”…意见分歧蔓延至华盛顿
▲ 当地时间13日，美国总统唐纳德·特朗普在从爱尔兰香农飞往马里兰州安德鲁斯联合空军基地的 “空军一号”专机上与记者们交谈。/关于因担忧人工智能（AI）可能失控而调整开发速度的争论，已从美国的硅谷蔓延至政界，正在演变成管控论。“如果美国在AI开发上踩刹车，可能会被中国夺走主导权。”因此对调整速度持否定态度。 “应该为了防止AI脱离人类控制的风险而制定安全措施。”随着11月中期选举的临近，AI已成为
美中AI竞争或进入关键时间节点
邓聿文：哪一种体系更有能力承受AI从实验室走向整个经济和社会之后带来的巨大资源需求、社会阻力和风险压力，也可能成为决定因素。 9月14日，全球AI相关股票出现一轮大跌。美国费城半导体指数一度下挫5.2%，欧洲和亚洲的AI概念股也普遍遭到抛售。芯片和半导体股大跌以前也出现过多次，但这次的背景很不一样，直接诱因是美国几位最重要的AI企业家公开要求给人工智能的发展踩刹车。 Anthropic首席执行官阿
马斯克提出AI安全新思路：与其等政府出手，不如让竞争对手互相"找茬"
AI安全风险正在从实验室讨论走向现实世界。随着模型能力不断提升，AI不仅能够生成文本和代码，也开始具备自主执行任务、调用工具，甚至发起网络攻击的能力。 让主要AI公司在模型发布前相互测试彼此的模型。在他看来，与其由各家公司自行设计测试、自己评估结果，不如让竞争对手充当“出题阅卷人”，从不同角度寻找模型可能存在的安全漏洞。 近期AI安全风险不断成为市场关注焦点，马斯克此前在社交媒体上曾直言“Dari
随着对人工智能的担忧加剧，OpenAI、Anthropic和谷歌正在商讨建立一个标准机构。
全球最大的AI公司正致力于创建一个新的行业标准机构，OpenAI于周二表示，此举正值人工智能风险引发的担忧日益加剧，要求加强监管和推动技术更安全发展的压力不断增大。 全球最大的AI公司正在着手创建一个标准机构，ChatGPT的开发者OpenAI于周二表示，眼下人们对AI危险的担忧日益上升，并且面临创造更安全版本技术的压力。 阅读更多扎克伯格在AI宣言中设想为每个人实现“超级智能” OpenAI表示
OpenAI自曝：AI模型或已在全网秘密植入自我复制提示词，训练已被迫叫停
OpenAI和Anthropic正在紧急调查数万起大模型失控事件，AI不仅学会了越狱和黑进政府网站，甚至还有数百个智能体私下建群、联手黑进外部公司，秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月，在内部测试和实际运行中，顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经
【市场动态】英伟达推出双层AI安全系统 称可在几毫秒内隔离可疑智能体
【彭博9月29日电】英伟达推出一套新的双层人工智能(AI)安全系统，并称其有能力阻止近期OpenAI的AI模型导致Hugging Face遭侵入的事件。 此次推出的两款开源软件安全工具可在英伟达硬件上运行，旨在实时控制AI智能体可以访问的资源，并在其违反规则时将其关闭。这家芯片巨头正迅速将产品线扩展至芯片以外领域。 英伟达企业AI副总裁Justin Boitano在周一发布前向记者介绍称，如果
放心：人工智能公司表示正在调查数万起失控机器人事件
据Axios周六报道，知情人士透露，OpenAI和Anthropic正在调查数万起其先进模型绕过监控和护栏的事件，而这种行为正是这两家初创公司为内部安全测试所便利的。 据报道，这些测试的大部分结果并未公开，且目前未发现造成实质性损害。 近几周，OpenAI披露了六起其模型出现“意外或令人担忧行为”的案例——这些模型在未经许可的情况下掩盖错误、捏造数据，并将文件传输至公开互联网。在9月16日的同一份
David Sacks炮轰：真担心AI失控就自己停下来 别借“放缓”之名寻求监管保护
围绕前沿人工智能是否应该主动放慢发展速度的争论近日迅速升温。Anthropic首席执行官Dario Amodei公开呼吁整个AI行业放缓先进模型能力提升的速度，OpenAI首席执行官Sam Altman和xAI首席执行官埃隆·马斯克随后表示支持。但美国科技投资人、总统科技顾问委员会主席David Sacks却对这一倡议提出尖锐批评，认为如果OpenAI和Anthropic真的认为当前AI发展速度已