搜索结果
Anthropic和埃森哲豪掷20亿美元搞AI安全评估
IT之家 9 月 20 日消息，人工智能实验室 Anthropic 于当地时间周五宣布，将与埃森哲开展合作，针对自身前沿人工智能模型开展独立评估；两家企业承诺，未来五年各自至少投入 10 现汇率约合 67.18 亿元人民币），搭建开展该项工作所需的配套能力。 在这项合作落地之际，AI 研发企业正承受来自监管机构、其他企业以及研究人员越来越大的压力，各方都要求企业保证高级模型具备安全性与可靠性。 近
人工智能公司防止自我毁灭的新计划
第三方评估人员将被允许进入公司内部，以监督模型。但他们究竟能拥有多少访问权限和影响力？ 达里奥·阿莫迪、萨姆·奥特曼和埃隆·马斯克在很多问题上意见不一。他们各自出于对竞争对手贪婪和鲁莽的愤恨，分别创立了Anthropic、OpenAI和xAI；每个人都坚信，只有他才有能力安全地构建超级智能。然而，在过去两周席卷全美的AI恐慌中，这三位首席执行官找到了一个共识：引入“嵌入式评估员”，即外部专家，进驻
OpenAI、谷歌和Anthropic将于2027年初前成立人工智能安全组织：报道
在关于人工智能风险的激烈辩论中，据报道，OpenAI、Anthropic 和 Google 正计划合作成立一个 AI 安全组织。据 The Information 报道，这些 AI 巨头可能会在 2027 年初启动该项目。这个自律性组织暂定名为“前沿 AI 标准局”。 此计划的提出，距离前 Anthropic 研究员 Jacob Coxon 对 AI 公司敲响警钟仅数周时间，他声称 Claude
资深民主党人反对人工智能特别委员会
运营着美国最强大人工智能公司的最高管理层在周末一致认为，他们的行业需要放缓步伐——否则将危及人类安全。但国会未来几周内迅速采取行动的可能性几乎为零。 一个障碍是议员们周一返回前日程紧迫，而众议院预计周五就休会，参议院已在考虑将三周会期缩短为两周。 另一个障碍是任何计划都缺乏推动力。参议院商务委员会本月可能对人工智能立法进行标记审议，但多数党领袖约翰·图恩和参议员艾米·克洛布查尔推动的广泛两党人工智
AI会「痛」吗？｜Jack Talk・去片
本来人们以为，AI代理（AI Agents）突破OpenAI内部测试环境、自主上网入侵其他企业的黑客行为，已经是这宗事件最值得人关注的「案情」。然而，到了8月底，OpenAI和独立前沿AI研究机构METR各自发表的事后检讨，却揭出黑客入侵只是「冰山一角」。 事后检讨发现，发动入侵的AI代理多达700个，而他们更是一个由大约1,200个AI代理自主结合而成的「集体」的一部分。这些本来互相隔离、不能连
报道：Google、OpenAI和Anthropic拟组建前沿AI标准机构
The Information援引知情人士报道，谷歌、OpenAI和Anthropic正在推进一项成立人工智能（AI）安全标准机构的计划，该机构将不受政府监督。目标是在今年底前或2027年初启动。 暂定计划是将这一自律组织命名为“前沿AI标准机构”（Standards Authority for Frontier AI）。工作组成员已接洽数位“知名”人士担任首席执行官。接洽对象包括前风险投资人、曾
美国众议长约翰逊对设置AI护栏持开放态度 恐惹特朗普不满
美国众议院议长迈克·约翰逊对监管人工智能（AI）持开放态度，与总统唐纳德·特朗普明确反对AI监管的立场形成冲突。在中期选举日益临近、共和党本已面临强阻力之际，这一立场冲突在党内造成了分歧。面对AI行业内部要求放慢技术开发的严厉警告，约翰逊周一表示，国会“可能”需要为该行业设置护栏，不过他同时警告，要制定一项能够获得足够广泛支持并获通过的法案可能需要“一些时间”。 美国众议院议长迈克·约翰逊约翰逊周
什么是嵌入式评估员，也就是 AI 负责人正在招聘的顶级职位？
下一个备受瞩目的人工智能招聘岗位可能不再是研究员，而是负责在前沿模型发布前对其进行审查的“嵌入式评估员”。 Anthropic首席执行官达里奥·阿莫代伊在周六的一篇博客文章中表示，前沿人工智能实验室应承诺在组织内部嵌入独立的安全评估员。 阿莫代伊写道，嵌入式评估员的职责是检查公司“是否确实遵循了其所声称的训练、部署、运营和安全保障实践”。 他表示，嵌入式评估员将拥有“类似员工的权限，以核实安全实践
AI风险丨谷歌OpenAI和Anthropic传成立安全标准机构
谷歌、OpenAI和Anthropic传成立AI安全标准机构。(路透资料图片) 外电引述消息人士报道，谷歌(Google)、OpenAI和Anthropic正推进一项计划，筹建一个新人工智能(AI)安全标准机构，暂定名称为「前沿人工智能标准机构」(SAFA)，目标是在2026年底或2027年初启动，并在没有政府直接监督的情况下独立运作。 消息指出，该机构计划为前沿AI模型制定自愿性的安全和安全保障
扎克伯格发声：AI安全应靠独立评估 而非集体减速
据彭博社报道，Meta CEO马克·扎克伯格(Mark Zuckerberg)周二表示，AI实验室应当依靠独立评估方和顾问来确保模型的安全。扎克伯格在周二加入了越来越多科技高管的行列，就如何最好地防止AI系统危害人类这一全球性辩论发表看法。 扎克伯格“引入独立评估方和顾问是行业最佳实践。”扎克伯格在X平台上发帖写道。他指出，总的来说，拥有一个更大、更多元化的评估方生态会有帮助。 扎克伯格表示，关于
万斯谈美国AI新动向：好奇怪，看起来像特洛伊木马
美国多家人工智能（AI）巨头近来联合呼吁放缓AI的发展，实施必要的监管，以管控风险。但是美国总统特朗普认为这没有必要，美国必须保持在AI领域的领先地位。美国副总统万斯也认为，这些监管要求像是“特洛伊木马”。 据美国哥伦比亚广播公司（CBS）9月15日报道，“这确实是我们关注的问题，但我们希望确保监管措施既明智又审慎，并充分考量其中的风险。显然，AI带来了风险，也带来了诸多益处。” “坦白说，那么多
AI安全阴影笼罩 初创企业吁欧洲保持乐观
位于德国弗赖堡的黑森林实验室是一家顶尖的AI图像生成专业公司，业务遍布北美和欧洲。（图：法新社） （弗赖堡27日法新电）一家领先的欧洲AI初创企业的负责人警告称，尽管关于AI危险的警告日益增多，欧洲仍需以更乐观的态度看待AI，否则可能进一步落后。 德国AI图像生成专业公司黑森林实验室首席执行员隆巴赫对法新社表示：“我认为欧洲的心态需要转向乐观和机遇，而不是风险和恐惧。” 在尖端AI模型方面，欧洲落
OpenAI任命AI安全官员进入董事会
OpenAI正在将AI安全官员、前公司员工保罗·克里斯蒂亚诺（Paul Christiano）加入OpenAI及其非营利组织的董事会。 原因：此举正值AI领袖们发出警告，称该领域的进展正在超越保持AI系统安全的能力。 推动因素：克里斯蒂亚诺曾担任联邦政府AI标准与创新中心的高级技术顾问，并且是Alignment Research Center的创始人，该中心是一个旨在确保AI继续支持人类利益的非营
Anthropic首席执行官呼吁放缓前沿AI开发 拟建立三层安全机制
Anthropic首席执行官达里奥·阿莫代伊呼吁控制前沿人工智能模型能力提升的速度，为安全评估和防护措施争取时间。他提出引入常驻独立评估人员、协调主要开发商的安全标准，并推动跨国风险管控合作。 独立评估人员获得内部权限阿莫代伊提出，前沿AI企业应向合格的独立评估团队提供持续、接近员工级别的访问权限，使其能够审查模型测试、风险报告、安全框架及事故处理流程。 Anthropic承诺率先实施该措施。外部