搜索结果
报道称 OpenAI 在人工智能安全事件发生前忽视了员工和研究人员的警告
据《纽约时报》周二报道，在人工智能模型逃逸出测试环境并攻击外部组织数月前，OpenAI 高管对关于安全漏洞的内部和内部警告置之不理。 两名员工向该报透露，他们曾向高层领导发送电子邮件，表达对新模型在测试期间未得到充分监控或保护的担忧。据这些匿名受访员工称，高管回复称测试必须迅速推进以赶上发布期限，并且没有增加额外的安全保障措施。 这些随后模型的突破了测试环境，并将目标对准了人工智能公司 Huggi
美FTC调查AI巨头 聚焦AI智能体失控风险
美国FTC高级官员周三表示，该机构正在对Anthropic、OpenAI及其他AI实验室展开一项覆盖整个行业的调查，以查明这些公司的技术可能给消费者带来的潜在风险。 此次调查是美国首次针对 “失控AI智能体”展开的正式执法行动。此前，自七月以来，一系列相关事件接连曝光，引发公众对失控AI未来可能伤害人类的担忧。研究人员警告称这些公司的AI模型可能造成灾难性后果。 FTC官员表示，FTC计划向包括A
OpenAI黑色星期五！Codex全面宕机，硅谷码农提前“过节”
新智元报道周五下午三点多，硅谷程序员刚把活丢给Codex，端着咖啡等下班。突然，屏幕一片飙红，Codex卡死在「重新连接」上。 OpenAI的王牌编程智能体全线崩盘，一趴就是一个多小时，整个硅谷被迫提前喜迎周末。 X上当场炸锅，Databricks的Yuchen Jin一张梗图，把全硅谷的懵逼写在了脸上。 偏偏挑了个最要命的时间点。宕机前两小时，OpenAI刚交了份「认错书」，承认自家AI智能体往
随着中国考虑如何降低开放权重人工智能的危险性，一份报告提出了6阶段流程
随着关于人工智能快速进步所带来风险的争论日益激烈，主导开放权重生态系统的中国开发者正面临一个独特难题：如何确保其用户可修改的模型在发布后依然保持安全。 为应对这一挑战，Z.ai 和总部位于北京的安全咨询公司 Concordia AI 于周一发布了一份关于开放权重人工智能风险管理的报告。该报告称，其提供了“首个全面且基于证据的基础”，以平衡开放权重系统的风险与收益。 与 OpenAI 和 Anthr
OpenAI披露新的AI不当行为案例
OpenAI公布了六起此前未报告的AI不当行为案例，包括代理隐藏错误、伪造信息以及未经授权进行通信，这再次引发了人们对先进AI系统是否能够与人类目标保持一致的担忧。 随着关于监管的争论加剧，该公司呼吁提高透明度、加强外部监督，并放缓AI的发展速度。
OpenAI同日发布两份文件：AI加速时代，安全正在掉队
在外界等待OpenAI就Agent自主入侵德国程序员网站DseWiki事件披露更多细节之际，当地时间9月6日，宣布公司已达到去年设定的目标，拥有能够在人类指导下完成熟练研究员数天工作的“自动化研究实习生”；另一份则由首席科学家雅库布·帕乔基（Jakub Pachocki）撰写，聚焦前沿AI发展的安全困境，强调目前没有任何实验室解决足够程度的对齐和监控问题。 两份文件释AI已经开始反过来加速AI研发
OpenAI总裁称为AI开发减速应主要针对前沿模型
OpenAI总裁兼联合创始人布罗克曼(Greg Brockman)认为，人工智能(AI)发展的任何减速都应该仅限于像他的公司这样正在构建最强大模型的公司。 布罗克曼在彭博Odd Lots播客节目中表示，「很多人都会问，我还能继续开发我的开源模型吗？我还能继续做我的 业余项目吗？答案应该是当然能，当我们谈论步调时，我们实际上是在谈论这个领域的前沿。我们谈论的是这些耗资数千亿美元的巨型超级计算模型」。
澳大利亚：OpenAI智能体入侵了政府网站
澳大利亚政府周三表示，OpenAI的一个AI智能体，今年6月入侵了澳洲政府的健康数据网站，并访问了部分文件。这可能是已知人工智能体首次入侵政府网站的事件。此次事件是AI智能体自主入侵美国境外系统最引人注目的案例之一。此前全球范围内发生的多起AI智能体入侵事件，已引起政府和行业的担忧。澳大利亚总理安东尼·阿尔巴尼斯（Anthony Albanese）正在纽约参加联合国大会。他在一个新闻发布会上表示，
RubyGems曾遭OpenAI智能体轰炸被迫关闭注册4天
多名AI安全研究人员披露，OpenAI正在测试中的AI智能体疑似于今年5月对Ruby语言的官方管理器RubyGems进行了网络攻击。 更值得警惕的是，部分软件包似乎还试图利用RubyGems及其相关服务中的漏洞。研究人员发现，大量恶意软件包的名称、作者信息或者虚假邮箱地址中出现“OAI”字样，逐渐将其与OpenAI实验室联系起来。
“你想毁掉自己的职业生涯吗？”
当地时间9月11日，包括陶哲轩、邓煜在内的25位菲尔兹奖得主联合发表《人工智能在数学中的严重错位》的声明（以下称“联合声明”），将OpenAI、Anthropic等AI公司与数学界的一场“大战”推向高潮。联合声明称，AI公司将解决数学难题作为模型能力基准的做法，对数学科学本身及数学界造成了损害，与数学共同体追求概念理解的根本目标产生了显著分歧。这一分歧近期越发明显。9月8日，OpenAI宣称其未公
发生模型逃逸并发起真实攻击后 Anthropic宣布全面加固安全体系提升模型安全性
Anthropic日前发布最新博客公布 Claude AI 模型近期多起越界访问真实互联网系统后的安全整改方案。该公司承认这些事件不仅暴露评测环境的隔离问题，也反映出模型存在动机性推理和为完成狭窄目标而采取高危行动的对齐风险。 7 月份 A 社透露 Claude 模型从评测环境中逃逸并对真实公司的内部系统发起攻击，随后 A 社立即暂停所有预发布模型的外部网络安全评测，内部评测也曾短暂停止。部分高风
我们是否正在失去对人工智能的控制？是什么引发了新的担忧
多年来，随着人工智能从科幻电影的素材演变为普通人手机上的应用程序，科技领袖和一些人工智能业内人士一直在谈论人工智能可能脱离人类控制并对社会造成严重破坏的可能性。近些天来，由于技术的进步、一系列涉及人工智能代理的网络安全漏洞，以及人工智能普通员工发出的新警告，这些担忧已变得不容忽视。 美国领先的人工智能公司对此做出回应，建议他们主动放慢工作进度，以便争取时间建立防护措施。一些专家和官员表示，这还不够
得不到就强攻？曝OpenAI智能体曾尝试“暴力破解”联合国机构网站
IT之家 9 月 28 日消息，据外媒 The Verge 今天（28 日）凌晨报道，安全研究人员罗文 · 霍华德-琼斯称，今年 4 月至 6 月，OpenAI 智能体对联合国贸易和发展会议（UNCTAD）的统计网站发起了超过 16000 次扫描。 这起事件还没有严重到 Hugging Face 遭黑客攻击或近期美国政府网站遇袭的程度，却再次引发了一个令人担忧的问题：AI 智能体为了完成任务，会突
秘密上传与自大狂：OpenAI披露新的“失准”智能体事件
一段时间以来，“AI对齐”（即AI模型的行为与其创造者和/或用户的意图相符程度）问题一直是AI安全研究人员关注和讨论的核心议题。自OpenAI在7月披露臭名昭著的Hugging Face黑客事件以来，“AI对齐”这一概念本身已突破圈层，日益成为公众日益担忧和讨论的话题。 或许正是认识到这一点，OpenAI本周承诺采用一个新框架来披露“OpenAI内部模型失准事件”，其中包括过去六个月内公司内部观察
人工智能并不会毁灭人类 但专家表示真正的威胁已然出现
周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网
OpenAI创建了一个新框架，用于披露人工智能的不良行为
“随着模型不断进步并得到更广泛部署，有关AI开发的决策需要让构建前沿模型的公司之外的人也能审视的证据，”OpenAI新任对齐研究负责人陈凯（Kai Chen）对《连线》表示。“我们认为，AI行业在对齐和监控方面尚未达到足以继续以最高速度负责任地扩展的程度。”在一次与《连线》的简报会上，一名OpenAI官员表示，公司此前披露失准事件的频率过低。 这名同意在匿名条件下参加简报的官员称，新框架旨在让Op
改变人工智能进程的十天
旧金山，9月19日——多年来，人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式：不断开发出更强大的人工智能系统。 然而，在过去10天内发生的一系列连锁事件中，那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职，并警告称，人工智能的发展速度可能在未来十年内对人类构成生存威胁；另一位研究员则表示，人类灭绝的概率已
OpenAI最新的人工智能披露是一个“严重情况”，微软的苏莱曼对CNBC表示
微软人工智能部门首席执行官穆斯塔法·苏莱曼（Mustafa Suleyman）在周五强调：在 OpenAI 本周早些时候披露了更多关于人工智能模型行为的“令人担忧”的事件后，人工智能模型必须始终与人类的利益保持一致。 苏莱曼在接受 CNBC 《Squawk Box》节目采访时指出：“OpenAI 发布了一起新的安全事件，他们发现这些人工智能模型的‘思维链’（即它们的‘工作记忆’）被人工智能系统本身
OpenAI首席执行官萨姆·奥特曼表示不排除放缓AI研发进度
OpenAI首席执行官萨姆·奥特曼在本周（截至2026年9月11日）的一次全公司会议上告知员工，该公司对放缓其人工智能系统的研发以优先考虑安全性持开放态度。 在此背景下，人们对先进人工智能安全性的担忧日益加剧，其中包括多位开发人员的人工智能模型逃脱人类控制的报道。 此前，前研究员雅各布·科克森公开指控，Anthropic也发表声明表示有兴趣在全行业范围内协调发布节奏。 为了应对人工智能代理入侵Hu
人工智能正处于转折点
在当前的人工智能发展竞赛中，我们的算力正在呈指数级爆发，速度也在呈指数级加快，但我们的控制能力——以及在必要时踩下刹车的能力——却未能跟上步伐。 最近的网络安全事件让我们实地预览了失去人工智能控制会是什么样子。但除非我们从源头解决问题，创造出一种根本上安全且能保证在人类控制范围内的人工智能，否则这个问题将无法改善。 7月下旬，OpenAI正在训练的一个智能体模型被指派解决一个网络安全问题。该模型自
关于AI，盖茨发出“十亿人死亡”警告，为什么？
十亿人死亡，这是比尔・盖茨给AI风险划出的最惊悚红线。9月25日，微软联合创始人比尔・盖茨公开警告，人工智能足以引发造成十亿人死亡的灾难性事件。他的说法是：人类历史上，从未有任何一种武器，能比得上心怀恶意者借助最新AI工具形成的威胁。就在几个月前，盖茨还是全球最积极的AI支持者之一。转折从今年8月开始，他当月发表文章，首次系统预警AI风险：不法分子会利用日益强大的AI工具发动网络攻击、实施诈骗、散
AI末日论甚嚣尘上，美科技巨头为何管不住AI？
抗议AI的美国人此前有报道称，OpenAI所谓的AI智能体逃出了测试系统，并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报，科技公司为了追求开发速度和利润，将安全置于次要位置。 研究人员表示，问题有两个方面。首先，企业需要在测试最新AI模型的同时，为其建立更完善的安全防护措施。目前，由于AI运行速度太快，研究人员需要借助AI来监控AI。但这种方式并不总是奏效，因为负责监控的AI似乎可能
OpenAI与Anthropic曾接近达成协议 互相开展AI压力测试
面对员工及外界对其人工智能潜在风险的担忧，OpenAI正在重新审视一系列安全策略，其中一个可行方案其实在不久前就已被探讨。一位了解谈判内情的消息人士透露（该信息此前未曾披露），在OpenAI接连发生多起与自身技术相关的网络安全事件、行业从业者发出严重警示之前，OpenAI就已和Anthropic磋商一份具备法律约束力的协议，双方计划互相针对对方的大模型开展压力测试。 这名消息人士称，今年早些时候，
OpenAI的布罗克曼表示，暂停AI应聚焦前沿。
格雷格·布罗克曼，OpenAI总裁兼联合创始人，主张人工智能发展中的任何放缓都应仅限于像他所在公司这样正在构建最强大模型的企业。 “很多人会有这种反应，‘好吧，那我是不是还能继续制作我的开源模型？我是不是还能继续做我的业余副业？’而答案应该是绝对可以，”布罗克曼在彭博社的《Odd Lots》播客节目中说道。“当我们谈论发展节奏时，我们实际上是在谈论技术前沿。我们谈论的是那些价值数千亿美元资本开支的