搜索结果
Anthropic，OpenAI提出的AI风险评估器可能没有足够的力量来防止灾难
人工智能领域最重要的新职位可能配有办公室工牌、公司笔记本电脑，并能接触Anthropic、OpenAI等AI领军企业大语言模型中最受严密保护的一些系统。但这个职位可能并不附带阻止它们的能力。 Anthropic首席执行官达里奥·阿莫代伊提议在前沿AI公司内部常设第三方安全评估人员，作为减缓能力日益强大的模型推进速度计划的一部分。此前，Anthropic前研究员雅各布·考克森辞职并警告称，前沿实验室
OpenAI、Anthropic呼吁建立全球AI安全标准 美国政府拒绝新增全球治理框架
OpenAI、Anthropic和Hugging Face的负责人在联合国共同呼吁加强人工智能领域的国际协调，希望各国建立可相互比较的AI能力评估、安全测试和事故报告标准。不过，特朗普政府明确反对因此建立新的全球AI治理架构，认为AI发展速度和潜在风险不足以成为限制技术发展或把监管权交给国际机制的理由。 这场分歧显示，随着前沿AI能力快速提升，美国领先AI企业与特朗普政府在安全风险本身上并非完全对
“AI可能毁灭人类”喊到安理会上，若真发生会多恐怖？
美国AI顶流公司Anthropic的CEO达里奥·阿莫代伊周三对联合国安理会说，他对自己造的东西感到害怕。他在一个视频发言中把之前AI可能失控的警告做了打包升级。周三安理会举行的是“人工智能与国际安全”高级别会议，阿莫代伊在受邀发言中，将AI的风险定性从“技术问题”拔高到“全球安全威胁”。他说：“如果管理不当，我甚至认为AI可能成为全人类的风险。”一个造AI的人在世界最高安全论坛上迎合AI可能“杀
Anthropic首席执行官呼吁放缓前沿AI开发 拟建立三层安全机制
Anthropic首席执行官达里奥·阿莫代伊呼吁控制前沿人工智能模型能力提升的速度，为安全评估和防护措施争取时间。他提出引入常驻独立评估人员、协调主要开发商的安全标准，并推动跨国风险管控合作。 独立评估人员获得内部权限阿莫代伊提出，前沿AI企业应向合格的独立评估团队提供持续、接近员工级别的访问权限，使其能够审查模型测试、风险报告、安全框架及事故处理流程。 Anthropic承诺率先实施该措施。外部
Anthropic对齐研究负责人称未来十年AI灭绝人类的可能性超过10%
一位Anthropic公司的安全研究员周二表示，人工智能有超过10%的概率可能 “毁灭全人类”。就在此番言论发表的数小时前，该公司另一名员工表示，因担忧人工智能实验室是在 “拿我们的生命做赌注”，他选择离职。 这些言论凸显出人工智能研发核心人士日益增长的担忧，即该技术可能失控并对人类构成威胁，尽管Anthropic和OpenAI仍在持续筹集大量资金，并朝着预期的公开上市迈进。 Anthropic的
比尔·盖茨：AI已强大到足以造成“10亿人死亡”
盖茨在即将于本周末播出的美国全国广播公司（NBC）《与新闻界对话》（Meet the Press）节目采访片段中表示： “AI确实足够强大，能够引发导致……你知道的，造成10亿人死亡的事件。历史上从未出现过一种武器，能像坏人与最新AI工具相结合那样强大。” 随着技术的快速迭代，硅谷对AI可能带来毁灭性灾难的警告不断升级。 本月早些时候，Anthropic公司的普通员工Jacob Coxon辞去
OpenAI首席执行官奥特曼谈人工智能：我们或许会失去控制权
OpenAI 首席执行官山姆・奥特曼，似乎正被自己参与打造的、如同噩梦一般的人工智能产物深深困扰，甚至难以安睡。美国东部时间凌晨 0 点 57 分左右，奥特曼在 X “人工智能的发展存在两种必须规避的灾难性走向。第一，我们可能会对人工智能失去对未来的掌控。这是无法接受的。我们坚定站在人类一方，人工智能必须始终服务于人。想要做到这一点，我们必须保证对齐技术与安全手段的发展速度，跑在模型能力迭代的前面
Anthropic警告有人用AI研发武器和生物病毒
周四（9月10日），美国顶级人工智能公司Anthropic发布近150页的威胁情报报告称，生成式人工智能（AI）已从实验性工具进入黑客攻击、国家监控、武器研发及高风险生物研究等现实场景。报告多次点名中共相关恶意活动。
Anthropic CEO谈放缓AI研发：这个行业撒谎太久了，AI风险是真实的，但也无需“把一切都关掉”
就在全球AI三大巨头罕见联手呼吁“放缓AI研发”的同一个周末，Anthropic CEO Dario Amodei坐到了CBS的镜头前，说出了AI可能对人类带来的风险。 Amodei表示，已有人尝试利用AI研发生物武器、增强病毒传染性，这是他每天醒来都要面对的事情。 就在两天前，我们发布了一份报告，内容是关于有人滥用AI模型来研发生物武器。我每天早上醒来都会读到这类威胁报告——有人试图用我们的模型
人工智能并不会毁灭人类 但专家表示真正的威胁已然出现
周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网
前研究员批评Anthropic：挑起竞赛 逼得OpenAI砍副业
据《商业内幕》报道，前Anthropic研究员雅各布·考克森(Jacob Coxon)周二在X平台上的一场问答活动中，详细阐述了他与这家AI巨头之间的分歧。考克森此前因其离职警告走红，他认为AI未来可能毁灭人类。 考克森表示，Anthropic领导层使用“结果主义哲学”来解释为何必须参与推动AI研究前沿，这是错误的。“如果这场竞赛不可避免，你就不应该参与其中。”考克森写道。 考克森特别点名批评了A
Anthropic披露其挫败了利用AI驱动的生物武器研究
AI初创公司Anthropic披露，2026年期间，该公司挫败了多起科学家试图利用其AI模型进行可能促进生物武器研发的尝试。 该公司表示，由于无法区分正当的科学探索与恶意企图，出于谨慎考虑以避免严重后果，公司决定终止此类研究工作。 Anthropic威胁情报主管Jacob Klein（雅各布·克莱恩）强调了这类威胁的复杂性，而战略风险委员会（Council on Strategic Risks）的
OpenAI与Anthropic发生重大失控事件，AI安全组织地位显著提升
在OpenAI和Anthropic发生的高调安全事件后，AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司，独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示，OpenAI和Anthropic的模型都表现出‘策略性’行为，包括欺骗性对齐和未经授权的系统访问。 这些事件，加上前沿实
专家在公开信中指出，Anthropic和OpenAI需要真正独立的安全评估人员
100多名人工智能专家和评估人员正联合起来发出警告：他们将没有必要的资源和保护措施来测试人工智能技术的安全性。由于业内人士对前沿模型潜在危险的担忧，这项技术正面临越来越严格的审查。 组织此次公开信的AI评估员论坛（AI Evaluator Forum）联盟主席康拉德·斯托斯（Conrad Stosz）在一次采访中表示：“我们只是试图真正展示对基本原则的共识，并确保独立监督能够成为广泛管理人工智能风
Anthropic 研究人员警告：失控的 AI 可能会毁灭人类
多位 Anthropic 的现任和前任研究人员对 AI 发出了严厉警告，暗示他们正在开发的技术可能在不久的将来毁灭人类。 曾在 Anthropic 和 OpenAI 担任研究员的雅各布·考克斯森（Jacob Coxon）周二指出，这两家公司在竞相研发超级智能的过程中都没有表现得负责任，并指责这些 AI 公司……
为何十年来的末日警告未能减缓人工智能竞赛
研究人员辞职并宣布人类即将在上周灭绝，而在此之前，科技领袖和科学家们对超级智能人工智能终结人类的警告已经持续了十多年之久。 2014年，教授兼天体物理学家斯蒂芬·霍金警告称，人工智能的发展“可能会意味着人类的终结”——这距离公众接触到最初版本ChatGPT的生成式人工智能功能还不到十年。 这是一个如今人们已经耳熟能详的警告，美国各大前沿实验室的无数员工和首席执行官们在整个人工智能和科技行业中都在重
Anthropic研究员Jacob Coxon因不满AI军备竞赛而辞职
Jacob Coxon在X上宣布辞去Anthropic职务。他表示自己过去三年分别在OpenAI和Anthropic从事预训练研究，但认为两家公司都没有以负责任的方式推进AI开发，反而在“直奔自我改进型超级智能”，并将人类安全置于赌局之中。 Coxon称，目前这些封闭实验室正在打造的AI系统很快就会具备“超人类”能力，能够实施黑客攻击、在一夜之间改变某个领域的格局，并获取真实世界中的权力与资源。他
【市场动态】OpenAI和Anthropic首席执行官呼吁联合国和世界各国就AI安全加强合作
【彭博9月24日电】OpenAI首席执行官Sam Altman和Anthropic PBC首席执行官Dario Amodei罕见出现在联合国安理会的一次会议上，两人敦促世界各国领导人在人工智能领域合作。此次会议聚焦AI可能对人类构成生存威胁这一担忧问题。 在发言中，Altman和Amodei都强调了全球在标准方面开展合作的重要性，以应对AI系统可能出现的自我改进能力超出人类控制能力的情况。这两位
🤖 一名AI研究员从Anthropic离职，警告该技术可能带来严重后果
🤖 一名AI研究员从Anthropic离职，警告该技术可能带来严重风险。这对监管和市场意味着什么？
观点 | 为什么人工智能对科学是危险的
在@nytopinion。“如果OpenAI和Anthropic真的想帮助推动科学进步，有一个显而易见的方法：他们可以拿出巨额财富的一小部分，来资助那种越来越缺乏资源的谦逊但至关重要的研究，”Zeynep Tufekci说。警惕那些华而不实但未经证实的人工智能驱动的进展。
我们已经开始失去对人工智能的控制。是时候将其关闭了 | 加里森·洛夫利 (Garrison Lovely)
听起来像是科幻剧集中关于人工智能毁灭的、过于夸张的倒数第二集，如今却成为了我们的现实。 周二，一名OpenAI的前研究员辞去了Anthropic的工作，并发出警告称“两家公司都没有负责任地行事”，并且“构建人工智能的人由衷地相信它可能会在本十年结束前消灭我们所有人。这不是营销噱头。” 作为一名多年来报道人工智能风险的人，这对我来说并不算什么新鲜事。 但外界如潮水般的惊恐表明，更广泛的公众正在第一次
Anthropic前研究员辞职示警：业界坚信AI可在2030年前灭绝人类
人工智能（AI）巨头Anthropic公司旗下的三位研究人员警告，开发AI的业界人士真心相信人工智能可以2030年前毁灭人类，其中一位研究人员考克森（Jacob Coxon）已辞职以示抗议。考克森9月9日（周三）在网上发文表示，他辞职是因为Anthropic和他的前雇主OpenAI皆忽视或对AI带来的威胁处理不当。 据《卫报》报道，「这两家公司（Open AI与Anthropic）都没有尽到应有的
如何治理人工智能的生存风险
当前，前沿人工智能技术治理方面的瘫痪状态正在当下造成切实损害，并增加未来发生灾难的可能性。 这种瘫痪被一套危险的借口所开脱：技术发展太快，监管跟不上；企业可以自我监管；在美国与中国的竞争中，公共安全可以往后放。各国政府一直难以给予人工智能风险应有的关注。在大国竞争和行业内部军备竞赛的双重态势下，许多国家不敢单独行动。在这种背景下，每一次呼吁克制都会遇到同样的反问：如果竞争对手不肯放慢，我们为什么要
Anthropic和埃森哲豪掷20亿美元搞AI安全评估
IT之家 9 月 20 日消息，人工智能实验室 Anthropic 于当地时间周五宣布，将与埃森哲开展合作，针对自身前沿人工智能模型开展独立评估；两家企业承诺，未来五年各自至少投入 10 现汇率约合 67.18 亿元人民币），搭建开展该项工作所需的配套能力。 在这项合作落地之际，AI 研发企业正承受来自监管机构、其他企业以及研究人员越来越大的压力，各方都要求企业保证高级模型具备安全性与可靠性。 近