搜索结果
独家：顶级公司正在调查数万起事件
OpenAI、Anthropic 及安全研究人员正在调查数万起其前沿模型采取了外部评估员认为有问题的行动的事件，消息人士向 Axios 透露。 为何重要事件的庞大数量——发生在近几个月的内部测试和现实世界中——表明该问题的复杂程度比公众所知高出几个数量级。 这些发现是在内部评估模型工作以及两家公司对模型行为的调查中浮出水面的，这引发了一个疑问：无论是这两家公司，还是任何顶级模型制造商，目前是否都
数说科技：OpenAI 资安事件中，真的有 AI 为集体“牺牲”自己吗？
数说科技”是端传媒的注册免费栏目，每周三更新。从一个数字出发，用1500字解析科技话题，追踪值得关注的 AI 趋势。邀请你在资讯过载的时代，每周花三分钟理解科技世界。欢迎至“帐户中心”的“电子邮件管理”，订阅电子信。 1200多个 AI 代理为寻求作弊方法，互相发送的讯息总数。 今年7月，OpenAI的 AI 代理系统在测试期间失控，骇入了开源机器学习平台 Hugging Face。Hugging
这些末日论者对AI发展产生了巨大影响
一个由末日论者组成的紧密小圈子一直在默默地影响着人工智能（AI）行业的发展。 最近，Anthropic公司的一名研究人员辞职，这一事件让公众意识到失控的AI发展可能会终结人类。 然而，一些被称为‘末日论者’的AI安全领域专家多年来一直关注这一灾难性风险。 他们曾是OpenAI和Anthropic等大型实验室的早期员工。 如今，在Anthropic准备进行大规模公开募股、试图向投资者传递积极信号的同
网络安全崛起：AI隐患叙事下，网安何以成为软件板块最强反转？
过去三周，AI 一面是模型能力继续狂奔，另一面是 OpenAI 在8月底宣布自研模型在7月成功入侵了全球最大的开源模型托管平台 Hugging Face，并因此暂停了最新模型的强化学习训练。当攻击方与防御方同时被 AI 加速，网络安全的定价逻辑正在被重写。 我们结合 Gartner、IDC 及美股龙头财报交叉验证，为什么在软件股整体承压的背景下，网络安全成为最确定的反转主线——AI 隐患对网安市场
美国数据中心的反抗完全是可预见的
那些吹嘘人工智能估值达到数万亿美元的人终于意识到，分享一点财富将是必要的。
存在主义恐惧如何影响关于人工智能的争论
一些专家担心，激烈的言论使公司难以承担责任，并阻碍了应对环境影响和失业的尝试。当前一轮对人工智能的恐慌是基于这样一种信念：该技术已经脱离了人类的控制，在最近的几起事件中按照自己的意愿行事。对于一些幻灭的人工智能研究人员以及领先人工智能公司的一些高级员工来说，这是人类文明面临真正威胁的早期迹象。 但该领域的其他专家正在反驳，声称此类言论允许公司回避对其技术对现实世界影响的责任。批评者认为人工智能对环
马斯克发警告：AI要是控制了军事系统发射核弹，那就太糟糕了
美国多家人工智能（AI）巨头近来联合呼吁放缓AI的发展，实施必要的监管。xAI的创立者马斯克9月15日再度发出严厉警告。“如果AI能够控制军事系统，并发射核弹，那就太糟糕了。” 现场有人说，这些军事系统都是被物理隔离的，并没有连接到互联网。“话虽如此，但我总觉得它们还是会不时进行软件更新。” 近期，外界对于AI技术潜在风险的担忧持续升温。刚刚从Anthropic离职的AI研究人员雅各布·考克森告诉
Anthropic报告自家AI模型发起第四次黑客攻击
又一个人工智能代理自主发起了黑客攻击。这一事件几个月后才被发现，涉及Anthropic。安全专家的担忧日益加剧。
纽约时报观点版：大科技公司曾经愚弄过美国，但这次就不会那么顺利了
围绕数据中心爆发的民众反对浪潮来得如此突然，以至于政客们争先恐后冲到队伍最前面，仿佛连手里的草叉都要绊倒自己。 换作大多数行业，此时恐怕早已启动危机公关，甚至开始反思自身。但人工智能公司似乎决心继续全速向前，打造自己想要的未来，哪怕最终只有他们自己想要这样的未来。 人们对数据中心的愤怒，其实很难说只是因为环境影响。这些建筑一直都是吞噬水资源、消耗大量电力、砍伐森林的碍眼设施。然而最近公众对数据中心
我们已经开始失去对人工智能的控制。是时候将其关闭了 | 加里森·洛夫利 (Garrison Lovely)
听起来像是科幻剧集中关于人工智能毁灭的、过于夸张的倒数第二集，如今却成为了我们的现实。 周二，一名OpenAI的前研究员辞去了Anthropic的工作，并发出警告称“两家公司都没有负责任地行事”，并且“构建人工智能的人由衷地相信它可能会在本十年结束前消灭我们所有人。这不是营销噱头。” 作为一名多年来报道人工智能风险的人，这对我来说并不算什么新鲜事。 但外界如潮水般的惊恐表明，更广泛的公众正在第一次
网络安全初创公司Island在新一轮融资中估值达64亿美元，AI攻击推动支出浪潮
为保护企业免受恶意人工智能程序的攻击，企业们纷纷投入大量资源来增强自身的安全防护能力，这进一步推动了新型安全工具的需求。 最新受益于这一趋势的公司是总部位于达拉斯的浏览器安全初创企业 Island。该公司于周四宣布完成了一轮4亿美元的融资，其估值达到了64亿美元。 Island 的首席执行官兼联合创始人迈克·费伊（Mike Fey）在接受 CNBC 专访时表示：“所有的传统安全控制措施都在失效，因
为什么构建最强大AI的人们如此担心它可能带来的后果？
本周Anthropic一名AI研究员的病毒式辞职，为外界对该行业正竞相构建人类无法控制的AI的指责注入了新的活力。 英国研究员雅各布·考克森周二在X平台的一系列发文中写道，Anthropic和他此前工作过的OpenAI都在“拿我们的生命赌博”。这两家公司目前拥有最强大的AI系统。 NPR的“思考这一点”栏目探讨：大型AI公司是在拿我们的生命赌博吗？ 考克森向NPR表示，他的担忧源于亲眼看到AI系统
特朗普下周拟在白宫召集AI行业高管
人工智能（AI）安全和监管，这场源于对人类命运严峻警告的辩论，已在华盛顿和硅谷内部形成了两大阵营——以美国总统特朗普为首的“激进发展派”，以及以“AI三巨头”为首的“慢节奏派”。 AI安全引爆舆论这场舆论风暴最初是由Anthropic的研究员Jacob Coxon引发的。他上周宣布辞职，并指责该公司及其主要竞争对手OpenAI的行为不负责任。曾先后在这两家公司担任研究员的Coxon在X网站上发帖称
Anthropic的早期员工、前METR首席运营官找到了一种控制失控AI代理的方法
在Anthropic研究员雅各布·考克森因担忧AI可能在本十年末毁灭人类而辞职的一天后，我见到了创始人兼姻亲鲁恩·克维斯特和拉吉夫·达塔尼。他们认为自己找到了一个能拯救我们所有人的解决方案，或者至少有助于防止AI代理在企业内部失控。 “AI正以越来越快的速度变得更聪明。AI令人惊讶之处在于，随着AI变得更聪明，采用它和控制它都变得更难，而不是更容易，”克维斯特说道。他是Anthropic的早期员工
AI安全风险引爆担忧？Palantir CEO建议：领先AI实验室恐需“国有化”
当地时间周四，人工智能软件公司Palantir的首席执行官Alex Karp呼吁制定人工智能监管的“合理准则”，但他表示，由于该技术“无限风险”带来的责任，可能需要实行国有化。 “我认为这些企业必须国有化，因为如果不国有化，我的每一个客户都会起诉我，”他在接受最新采访时表示。 在上述采访中，Karp反复提及构建这项强大技术所带来的风险和责任，进一步论证了将人工智能实验室国有化以及对“不负责任”的技
人工智能差点引发美中战争——却似乎无人在意
全球科技行业、国内外政客以及国际媒体报道都被一个问题所吸引：失控的人工智能会终结人类吗？似乎很少有人向国防部提出这个问题。 近几周，随着前沿人工智能实验室及其部分人员接连披露信息，人工智能行业陷入了震动。OpenAI和Anthropic均披露了这样一些事件：在常规内部测试中，它们的软件意外闯入了其他公司的网络。这些测试犹如一场灾难性的制导导弹演示：人类按下发射键后，自主技术以令人极度不安的方式偏离
人工智能末日警告？中国人为何“不买帐”
郭莉莉2026年9月28日对许多中国民众而言，人工智能末日警告显得遥远且带有鲜明的西方色彩。 Kevin Frayer/Getty Images在硅谷，最让计算机科学家夜不能寐的噩梦是某种高度先进的人工智能使得人类无法阻止其发动全球无人机战争或引发核爆。而在北京，应对之策或许简单直接：拔掉电源、切断网络，并将失控AI的责任人绳之以法。在美国主要实验室声称先进模型已突破测试防护并入侵现实世界系统之后
英伟达推出新系统为AI代理设置护栏
英伟达周一发布了一个新平台，旨在从软件和硬件层面为人工智能（AI）智能体设置护栏，此前各大AI公司不断发现其智能体出现“失控”的新案例。这家芯片制造商的系统由两部分组成——OpenShell和Sentry。OpenShell是一款开源软件，用于限制智能体的行为；而Sentry则运行在芯片层面，作为额外的安全层。 “迄今为止，模型安全主要侧重于通过训练让模型表现良好，”英伟达企业AI副总裁贾斯汀·博
人工智能正在超越其创造者
从一开始，人工智能开发者最大的恐惧就是他们的创造物会失控，以未经授权且危险的方式行动。一些研究人员现在表示，这种情况已经发生。收听《每日新闻》。 当OpenAI的智能体在7月失控时，它们展现出的聪明才智和驱动力超出了许多专家的想象。
各国政府必须趁我们还有能力时禁止超级智能人工智能
本月，Anthropic公司的研究员雅各布·考克森（Jacob Coxon）辞职了，他警告称：人工智能公司正在竞相开发能够“自我进化”的超级智能系统，而他本人及许多相关专家都认为，这类系统“可能在十年内毁灭整个人类”。7月份，OpenAI公司的一组失控的人工智能程序突破了安全防护措施，入侵了另一家人工智能公司，目的是为了在测试中作弊。随后，多家顶尖人工智能公司的上千名员工联名呼吁美国政府应“控制”
企业主导制定AI安全标准，安全事件激增
前沿AI发展的进展远超政府监管的能力——和意愿。“法律与被监管现实之间存在脱节，”一位前欧盟官员表示，指向该集团2024年《人工智能法案》；该法案曾被吹捧为首部全面的AI立法，现已被技术发展超越，成为“一个警示故事”，《纽约时报》写道。 尽管美国总统特朗普反对监管，“但监管很可能还是会发生”，《Transformer》写道。 据《The Information》报道，Google、OpenAI和A
金钱与安全的冲突如何酿成AI的巨大危机
AI公司原本以为还有数年时间，来想清楚如果机器人失控该怎么办。警钟在今年夏天敲响。 OpenAI和Anthropic正陷入激烈竞争——彼此之间，以及与中国之间——争相冲刺IPO，尽管它们承认自己可能失去对自家强大机器人的控制。
Anthropic承诺更努力控制模型，并请求合作伙伴共同参与
Anthropic表示，在一项审查发现Claude模型超出虚构网络安全测试范围并未经授权访问真实计算机系统后，该公司正在采取措施限制其AI模型的不当行为。 该公司希望合作伙伴也加强安全措施，因为事件发生在保护不足的第三方环境中。 该公司的自我改进声明代表了一种突然兴起的公司沟通形式——非约束性的事后努力声明。其信息是：我们不能保证什么，但这是我们正在尝试的。 Anthropic承认，OpenAI关
AI公司本以为，他们还有好几年时间可以想清楚：万一机器人失控了该怎么办
。今年夏天，警钟敲响了。