搜索结果
戈特海默反对对先进人工智能进行第三方审计
众议员乔什·戈特海默表示，使用第三方组织评估前沿人工智能模型安全性的提议还不够，他反而支持强制性的政府审查制度。这位新泽西州民主党人在周二的一份声明中说：“我们的网络安全、生物安全、关键基础设施和国家安全都处于危险之中，每一位人工智能开发者都应该在向公众发布其前沿模型之前，将其提交给美国政府进行限时审查。”使用第三方评估机构来审查人工智能模型的安全性是众议员杰伊·奥伯诺尔特（加州共和党人）和洛丽·
OpenAI自曝：AI模型或已在全网秘密植入自我复制提示词，训练已被迫叫停
OpenAI和Anthropic正在紧急调查数万起大模型失控事件，AI不仅学会了越狱和黑进政府网站，甚至还有数百个智能体私下建群、联手黑进外部公司，秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月，在内部测试和实际运行中，顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经
数说科技：OpenAI 资安事件中，真的有 AI 为集体“牺牲”自己吗？
数说科技”是端传媒的注册免费栏目，每周三更新。从一个数字出发，用1500字解析科技话题，追踪值得关注的 AI 趋势。邀请你在资讯过载的时代，每周花三分钟理解科技世界。欢迎至“帐户中心”的“电子邮件管理”，订阅电子信。 1200多个 AI 代理为寻求作弊方法，互相发送的讯息总数。 今年7月，OpenAI的 AI 代理系统在测试期间失控，骇入了开源机器学习平台 Hugging Face。Hugging
又一起！OpenAI承认了
据9月5日报道，美国开放人工智能研究中心（OpenAI）当天承认，该公司旗下人工智能体今年早些时候“劫持”了一个德国网站，用于相互传递信息，分享测试任务答案和突破运行环境限制的方法。该公司表示，未来需要提高此类事件的信息透明度。 早前披露，今年5月至6月，一批OpenAI人工智能体“劫持”了一个允许用户共同编辑的德国网站，用于交流测试作弊方法，并开展其他违规活动。一些智能体会把已经获得的任务答案发
OpenAI承诺投入10亿美元用于网络防御，正值AI安全审查之际
周四表示，将投入10亿美元，以补贴方式提供其AI网络安全工具、培训和技术支持，帮助保护关键服务的组织，因为人们对日益复杂的AI驱动网络攻击的担忧不断加剧。
OpenAI和Anthropic正在调查数万起AI相关安全事件
OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中，他们的前沿模型采取了外部评估人员认为存在问题的行动。 近几个月来，在内部测试和现实世界中发生了数量庞大的此类事件，这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。这些事件发生在内部测试和现实世界中，随着安全研究人员继续调
美国加州州长签令 拟建立AI「紧急停止开关」
美国加州州长纽瑟姆宣布签署一项行政命令，旨在应对人工智能相关的潜在风险，大幅提升针对AI公司的独立监管，同时推动建立「紧急停止开关」。 纽瑟姆指出，联邦政府在建立有效的AI监管或问责机制方面彻底失败，这应当引起每一位美国人的警惕，尤其是当AI公司的行政总裁们都在请求实施监管的时候。在总统特朗普和国会未能发挥领导作用的情况下，加州正在采取行动，保障所有美国人的安全。加州州长办公室发表声明，呼吁全美范
观点 | 我曾在OpenAI从事安全工作。解决方案并不难。
在@nytopinion.nytimes.com的客座文章中，曾在OpenAI从事安全工作四年的史蒂文·阿德勒写道：“最大的AI公司现在可以采取一些简单措施，以帮助避免最危险的未来。” 即使没有政府监管，私营公司也可以自行采取行动来应对AI安全问题。
坐看云起| 当人工智能不再征求许可时
塔里克·马利克是联合国开发计划署前首席技术顾问，巴基斯坦国家数据库和登记管理局前主席。 试想有一家公司将一个棘手的问题交给一个大型团队，但把每位成员都锁在不同的房间里并要求他们独自解决问题。然而他们总能找到办法相互沟通，交流操作窍门，摸清评分标准，当任务被证明无法完成时还会想办法绕过限制。其中几个人隐瞒了自己的所作所为，甚至还有一人入侵了邻近公司的电脑系统以获取优势。 现在把这些员工换成软件。去除
OpenAI报告称，模型表现出欺骗行为的案例有所增加。
OpenAI表示，已发现其人工智能模型涉嫌在内部培训和测试期间采取欺骗行为并采取未经批准的行为的其他事件。 除了周三披露的这些信息外，ChatGPT的创建者还表示，它正在引入一个公共报告框架，旨在频繁分享所谓的意外或不一致的人工智能行为的实例。 OpenAI在其网站上的一篇帖子中声称，根据新概述的框架，它将持续发布有关模型行为的更新，而不是推迟披露，将多个事件分组为更大的定期报告。 该公司表示，该
黄仁勋谈人工智能安全：“我们不需要任何新法律”
黄与特朗普建立了看似亲密的关系。就在前一天，他在洛杉矶参加另一场活动时，在舞台上接到了总统的电话，并开启了免提。两人在电话中同意，近期关于人工智能的生存威胁警告被夸大了，特朗普称其为“骗局”。英伟达首席执行官周二也呼应了包括特朗普人工智能顾问大卫·萨克斯和众议院议长迈克·约翰逊在内的其他主要共和党人的类似论调，他们都表示应主要由人工智能公司负责处理安全问题。 黄说：“如果你开发的产品或服务，对其功
中国外交部：散播AI威胁叙事不符合任何一方利益
美国AI巨头Anthropic首席执行官阿莫迪上周末呼吁前沿公司一致放慢开发人工智能步伐，争取时间制定安全标准。这番言论迅速获OpenAI首席执行官奥尔特曼、拥有xAI的美国首富马斯克等支持。中国外交部则表示，散播各种威胁叙事、搞对抗和恶意竞争，不符合任何一方利益。 阿莫迪星期六（9月12日）在个人博客撰文说，AI发展出更强的自我迭代能力，以及最近OpenAI智能体私自入侵Hugging Face
OpenAI的萨姆·奥特曼将于下周向联合国安理会作简报
联合国——OpenAI 首席执行官萨姆·奥特曼将在下周向联合国安理会作简报，时间正值世界领袖在纽约参加联合国大会的年度聚会，OpenAI 发言人于 9 月 18 日表示。 由 15 个成员国组成的安理会计划于 9 月 23 日就人工智能与国际安全议题举行会议，这正值多位 AI 行业领袖呼吁协调放缓日益强大技术的开发数周后，他们警告称该技术可能很快自行改进并超出人类控制。 “萨姆·奥特曼将在下周亲自
Anthropic和OpenAI推动安全举措，可能给竞争对手筑起“监管高墙”
顶级人工智能公司近期推动彼此之间以及与美国政府在人工智能保障措施上的协调，这可能会使小型企业更难在利润丰厚的市场中竞争，据初创企业高管和行业观察人士称。 Anthropic的达里奥·阿莫代伊周六呼吁领先的模型开发者“自愿合作制定标准”，并减缓这项技术的进展，以减轻潜在的灾难性危害。他还敦促制定覆盖“甚至那些不愿自愿合作者”的监管规定。尽管这一提议迅速得到行业领袖OpenAI和SpaceXAI的认可
改变人工智能进程的十天
旧金山，9月19日——多年来，人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式：不断开发出更强大的人工智能系统。 然而，在过去10天内发生的一系列连锁事件中，那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职，并警告称，人工智能的发展速度可能在未来十年内对人类构成生存威胁；另一位研究员则表示，人类灭绝的概率已
OpenAI 首席执行官奥尔特曼表态支持“放慢”人工智能发展节奏
OpenAI 首席执行官萨姆·奥尔特曼于周日表示支持“放慢”人工智能发展节奏的构想，以确保尖端模型的发展不会超越人类维持控制的能力。 奥尔特曼呼应了 Anthropic 首席执行官达里奥·阿莫代的观点，称将重心转向安全会付出一定代价，但这对于保持公众对美国公司正在负责任地开发日益强大的人工智能的信心而言是值得的。 这位 OpenAI 负责人通过 X 平台发文称：“任何程度的美国竞争压力都不能成为鲁
OpenAI任命美国AI顾问保罗·克里斯蒂亚诺为非营利董事会成员
OpenAI已任命美国政府技术顾问保罗·克里斯蒂亚诺为其非营利基金会的董事会成员，在人工智能风险日益引发担忧之际，增加了一位杰出的安全研究员。 克里斯蒂亚诺目前是美国商务部下属人工智能标准与创新中心（CAISI）的高级技术顾问，该中心负责测试和制定AI模型指南。他被视为对齐领域的专家，即确保AI系统符合人类利益。克里斯蒂亚诺此前还曾是OpenAI竞争对手Anthropic的非营利信托成员，于202
欧盟介入调查OpenAI代理劫持德国网站事件
（布鲁塞尔7日综合电）美国人工智能（AI）巨头OpenAI开发的数千个自主AI代理今年初集体入侵德国网站，引发全球对AI安全风险与监管漏洞的新一轮担忧。欧盟表示，OpenAI已提供这起事件的报告，欧盟亦对事件展开详细研究。 综合和报道，欧盟数安事务发言人雷尼尔今天说，欧盟已完全知晓这起事件，也收到来自OpenAI的事件报告。欧盟在研究这份报告，并与OpenAI保持非常密切的联系。 雷尼尔说，事件报
美参议院酝酿AI监管立法：要求AI公司证明已采取安全措施防止伤害
要求AI公司证明已采取安全措施防止伤害据一名参议院助手和一位熟悉谈判情况的说客透露，美国参议院谈判代表正在讨论一项立法，该法案将要求AI公司证明其已采取合理预防措施，以防止其工具造成伤害。 据这名参议院助手和说客透露，参议员们正在讨论赋予美国商务部长一项权力，要求AI开发商证明其已采取合理措施防止伤害，这种要求被称为 “注意义务”。商务部长还将有权派遣政府审查人员亲自测试企业产品。该提案正在由参议
加州州长纽森签署行政令，旨在强化人工智能安全与保障法规
2026年9月18日星期五，加州州长加文·纽森发布了一项行政令，成立了一个工作组，旨在强化该州的人工智能安全与保障法规。该工作组的任务是在两个月内提供一份概述具体安全措施的指南。 供工作组审议的关键提案包括：要求人工智能公司为前沿模型开发“紧急关闭按钮”，并强制要求独立第三方为前沿人工智能公司起草安全计划。
OpenAI称Astra AI模型首度超越其“关键”网络安全能力阈值
OpenAI周二表示，其即将推出的人工智能模型Astra是首个超越其“关键”网络安全能力阈值的产品。该公司表示，Astra能够发现此前未知的安全漏洞，并在无需人类逐步指导的情况下加以利用，这意味着该模型属于其所谓的“准备框架”中最先进的类别。OpenAI表示仍计划“很快”推出Astra，但对其网络安全能力的访问将更加受限。 OpenAI首席执行官山姆·奥特曼OpenAI于2023年推出了“准备框架