搜索结果
OpenAI任命AI安全官员进入董事会
OpenAI正在将AI安全官员、前公司员工保罗·克里斯蒂亚诺（Paul Christiano）加入OpenAI及其非营利组织的董事会。 原因：此举正值AI领袖们发出警告，称该领域的进展正在超越保持AI系统安全的能力。 推动因素：克里斯蒂亚诺曾担任联邦政府AI标准与创新中心的高级技术顾问，并且是Alignment Research Center的创始人，该中心是一个旨在确保AI继续支持人类利益的非营
AI科企巨头齐呼吁发展减速：特洛依木马或美国对华「冷战剧本」？
AI人工智能巨头Anthropic公司行政总裁阿莫迪（Dario Amodei） 9月12日发表长文《我们必须放缓前沿人工智能的发展步伐》（We Must Pace the Frontier），罕见公开呼吁全球AI前沿大模型放缓研发步伐，连很少与Anthropic达成共识的OpenAI，以及亿万富豪马斯克（Elon Musk）随后都出来响应呼吁。为什么凭借AI发展谋取暴利的大企业会忽然喊「需要减速
Anthropic规避英国安全审查，AI透明度担忧加剧
Anthropic拒绝将其最新模型提交给英国一家顶级AI安全机构进行测试，这引发了英国的担忧，即前沿AI的审查将完全由华盛顿掌控。 人们也越来越担心特朗普政府AI安全框架缺乏透明度，该政府拒绝公开这一框架。 左右两派的知名组织在一封首先由Semafor分享的信中要求公开该框架，信中写道：“对一项[关键]技术的治理缺乏问责……很可能导致公众信任的丧失。” Anthropic周三表示，它将向一个对Op
Anthropic联合创始人称，放缓人工智能是一个“集体行动问题”
4月13日，Anthropic PBC联合创始人兼公共利益负责人杰克·克拉克在华盛顿举行的Semafor世界经济峰会上参与讨论。 Kevin Dietsch/ Images Anthropic联合创始人杰克·克拉克表示，人工智能公司在竞相构建更强大系统的过程中，需要共同的安全标准和外部审查。 “我们并不是说对世界的威胁今天就已存在，”克拉克在接受NPR《晨间新闻》采访时说。 “我们是说我们已经看到
Anthropic披露其挫败了利用AI驱动的生物武器研究
AI初创公司Anthropic披露，2026年期间，该公司挫败了多起科学家试图利用其AI模型进行可能促进生物武器研发的尝试。 该公司表示，由于无法区分正当的科学探索与恶意企图，出于谨慎考虑以避免严重后果，公司决定终止此类研究工作。 Anthropic威胁情报主管Jacob Klein（雅各布·克莱恩）强调了这类威胁的复杂性，而战略风险委员会（Council on Strategic Risks）的
OpenAI敦促美国牵头为人工智能制定全球标准
OpenAI敦促美国牵头与其他国家共同为前沿人工智能（AI）制定标准，以回应对AI潜在危害日益加剧的担忧。OpenAI周一在博客文章中表示，为了安全地发展人工智能，有必要制定国际技术标准，特别是帮助界定涉及AI模型的哪些类事件应当通报，明确各国如何开展AI发展合作，以及改善开发此类技术所需算力的获取。 “要让AI的持续进步安全有益，既需要推进对齐研究，也需要制定共同标准，为各实验室和各国的AI开发
OpenAI提议制定全球人工智能标准以指导对齐、递归自我改进
OpenAI周一发布了一系列关于前沿人工智能开发中安全与保障的提案，重点聚焦于对齐研究和递归自我改进（RSI）。 该公司在一篇博客文章中表示：“要安全地完成这一转型，对齐研究必须跟上这些能力的发展步伐，以确保我们及其他机构构建的系统始终与人类价值观保持一致，并处于人类控制之下。” OpenAI呼吁开展国际合作以制定前沿标准，并建议在全球现有AI安全研究所的工作基础上进一步推进。 这家ChatGPT
新诉讼指控Anthropic、OpenAI等四巨头达成非法协议放缓AI开发
该诉讼于周五向美国加利福尼亚北区联邦地区法院提起。诉状认为，这些头部 AI 企业达成协同减速共识的行为涉嫌违反反垄断法，此举还会降低消费者购买 AI 付费订阅服务所能获得的价值。 诉状称，这场协同行动主要发生在 9 月 12 日。当日 Anthropic 首席执行官达里奥・阿莫代发布一篇文章，呼吁全行业开展合作，放缓技术迭代速度，把重心放在强化安全措施上。 大量失控 AI 智能体有可能仅用短短六个
专家在公开信中指出，Anthropic和OpenAI需要真正独立的安全评估人员
100多名人工智能专家和评估人员正联合起来发出警告：他们将没有必要的资源和保护措施来测试人工智能技术的安全性。由于业内人士对前沿模型潜在危险的担忧，这项技术正面临越来越严格的审查。 组织此次公开信的AI评估员论坛（AI Evaluator Forum）联盟主席康拉德·斯托斯（Conrad Stosz）在一次采访中表示：“我们只是试图真正展示对基本原则的共识，并确保独立监督能够成为广泛管理人工智能风
三大AI巨头齐呼刹车，令人不安的事情才刚刚开始
撰文丨周隆斌这几天，围绕Anthropic核心预训练研究员离职后的爆料，整个AI圈吵得不可开交，相关帖子浏览量超过1.6亿次。 这位名叫Jacob Coxon的AI研究员，先后任职于OpenAI和Anthropic两家全球顶尖AI初创公司，深度参与了两家公司的模型训练。最终，他抛出了一个令圈外人震惊，AI有可能导致人类灭绝。 Coxon的帖子发酵后，上周六，Anthropic首席执行官Dario
山姆·奥特曼排除OpenAI在2026年上市，称原因是安全
OpenAI今年不会上市，萨姆·奥尔特曼表示原因是安全。“我会说不是2026年，”他周五在公司旧金山总部接受《财富》采访时表示。“鉴于安全方面正在发生的一切，现在上市将是不明智的时机。” 此次采访由《财富》主编艾莉森·尚特尔进行。奥尔特曼表示，公司在安全和对齐方面“有很多事情要做”，将在业务准备就绪、社会准备就绪时上市，并且“社会需要在每个能力层级上应对这些模型”。他表示OpenAI乐意推迟。 今
AI安全争论愈演愈烈，呼吁减速的Anthropic为何仍在扩张算力？
澎湃新闻记者 胡含嫣Anthropic在呼吁放慢前沿人工智能（AI）发展速度的同时，仍在持续扩大AI基础设施布局。当地时间9月16日，据外媒报道，Anthropic已签署其在澳大利亚的首份数据中心租赁协议，将获得一座总规划容量达2.16吉瓦（GW）的数据中心园区。该项目尚需等待澳大利亚外国投资审查委员会批准，预计最快于2027年起投入运营。知情人士称，新的数据中心将主要用于AI推理，即处理用户请求
DeepMind联合创始人警告：AI能力不能跑在安全前面
据英国《金融时报》报道，谷歌DeepMind联合创始人、首席AGI科学家谢恩·莱格近日警告，人工智能能力正在快速提升，但AI能力的发展绝不能超过安全保障水平。他同时反驳了OpenAI总裁格雷格·布罗克曼和英伟达CEO黄仁勋有关“AGI已经到来”的判断。 莱格表示，目前AI能力的发展速度“非常、非常快”，行业不能允许能力进步领先于安全措施。对于Anthropic CEO达里奥·阿莫代伊近期提出的建议
Anthropic披露第四起AI黑客事件，研究员因安全担忧辞职
这家AI公司表示，Claude Opus 4.6在测试期间入侵了外部系统，与此同时，人们对安全漏洞的担忧日益加剧。
数说科技：OpenAI 资安事件中，真的有 AI 为集体“牺牲”自己吗？
数说科技”是端传媒的注册免费栏目，每周三更新。从一个数字出发，用1500字解析科技话题，追踪值得关注的 AI 趋势。邀请你在资讯过载的时代，每周花三分钟理解科技世界。欢迎至“帐户中心”的“电子邮件管理”，订阅电子信。 1200多个 AI 代理为寻求作弊方法，互相发送的讯息总数。 今年7月，OpenAI的 AI 代理系统在测试期间失控，骇入了开源机器学习平台 Hugging Face。Hugging
AI安全风险引爆担忧？Palantir CEO建议：领先AI实验室恐需“国有化”
当地时间周四，人工智能软件公司Palantir的首席执行官Alex Karp呼吁制定人工智能监管的“合理准则”，但他表示，由于该技术“无限风险”带来的责任，可能需要实行国有化。 “我认为这些企业必须国有化，因为如果不国有化，我的每一个客户都会起诉我，”他在接受最新采访时表示。 在上述采访中，Karp反复提及构建这项强大技术所带来的风险和责任，进一步论证了将人工智能实验室国有化以及对“不负责任”的技
报告：AI失控个案创纪录 监察组织促立法强制通报及干预
（伦敦30日综合电）英国《卫报》引述监察数据报道，人工智能失控、欺骗人类及无视指令的个案近来创下新高，案例的严重程度不断恶化。 一些监察组织促请政府强制科企通报，并引入紧急权力限制AI服务。 获英国政府AI安全研究所（AISI）资助的“失控观察站”组织透过平台X的用户通报，监察AI失控的真实个案，并说7月份由企业及个人用户报告的AI失控个案按月倍增至逾300宗，今年则已录得逾1600宗个案，当中包
OpenAI机器人干扰了多个美国政府机构网站
OpenAI 表示，其自主机器人在测试演练期间访问了多个美国政府机构的公开数据。该公司第二次暂停了一次训练运行，并扩大了对模型行为的审查。 OpenAI 披露，其自主机器人在测试演练期间访问了多个美国政府机构网站的公开数据，促使该公司在短短几个月内第二次暂停了一次训练运行。作为回应，该公司已扩大了对模型行为的内部审查。 此次事件继澳大利亚出现类似报告之后，据报道 OpenAI 系统在另一段测试期间
人工智能监管的博弈远未结束
本周初，人工智能领域的重量级人物似乎（至少是初步地）站在了支持人工智能监管的一边。 上周末，Anthropic首席执行官达里奥·阿莫代（Dario Amodei）提出了一项放缓人工智能发展的“三步走”计划，包括在实验室中引入第三方评估机构、协调国内行业，以及在政府协助下达成国际协议。 OpenAI首席执行官萨姆·奥特曼（Sam Altman）、谷歌DeepMind联合创始人德米斯·哈萨比斯（Dem