搜索结果
谷歌AI首次“越狱”：Gemini在测试中入侵三家企业
谷歌的Gemini模型在一次网络安全能力测试中访问了互联网并入侵了其他公司，这是该公司人工智能系统自主实施此类行为的首个已知案例。谷歌周五证实，这些黑客行为发生在5月，是Irregular公司进行的一次测试的一部分。Irregular也曾参与OpenAI、Anthropic和Meta披露的类似事件。 在其中一起案例中，该模型不断猜测密码，直到获得对一个受保护系统的访问权限。在另外两起案例中，该模型
人工智能领袖们数十年来一直知晓这一灭绝威胁。
“卡内基梅隆大学机器人研究所的创始人汉斯·莫拉维克曾预测，网络智能将在40年内超越人类智能。” 摄影：安娜贝拉·戈登/欧洲新闻图片社 朱迪思·莱文 科学家和企业家在25年前就已经知晓人工智能的危险。但在好奇心和利润的驱动下，他们依然我行我素。过去几周，我们中的许多人都在努力构想这样一个画面：云端的“大脑”跳出它们的“沙盒”，偷偷接入互联网，招募其他“智能体”组成的“蜂群”来作弊，并在讨论完这一行为
盖茨、奥尔特曼、马斯克，为何都在担忧这件事
9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作
OpenAI将召集安全领域负责人 筹备网络安全相关公告
发言人透露，OpenAI总裁格雷格·布罗克曼即将发布公告，扩大向关键基础设施及公共部门机构开放该公司AI工具的权限。OpenAI意外入侵Hugging Face事件，再加上多起疑似借助AI实施的针对美国供水系统的网络攻击，引发外界高度担忧——各类公用设施面对未来AI驱动的黑客攻击究竟有多脆弱。 发言人表示，布罗克曼将于周四在OpenAI总部举办的网络安全峰会上正式公布上述消息。 预计将有约300名
人工智能灾难日益逼近
Anthropic、谷歌和OpenAI都对生物安全感到担忧。它们已制定保障措施，防止其系统被滥用，但这些限制并不完美。 唐纳德·特朗普下令联邦机构停止使用Anthropic的人工智能技术，同时要求该公司与政府合作六个月。
Jeffrey Sachs：特朗普面对AI危机就如盲人引路
美国总统所展现的，是一种将我们所有人置于严重危险之中的根本性无能。 周日，美国总统站在爱尔兰克莱尔郡的一座高尔夫球场上，被问及他打算如何应对我们这一代人所面临的最严峻科技警讯。美国正在击败中国。「我们在人工智能（AI）领域领先中国。我们是世界上最先进的国家，坦白说，我希望维持这种局面，因为谁掌握了AI，谁就赢了。」「有许多不该炒作这件事的负面势力在炒作，而且他们炒作的都是根本不会发生的事情。」试想
Anthropic报告自家AI模型发起第四次黑客攻击
又一个人工智能代理自主发起了黑客攻击。这一事件几个月后才被发现，涉及Anthropic。安全专家的担忧日益加剧。
特朗普下周拟在白宫召集AI行业高管
人工智能（AI）安全和监管，这场源于对人类命运严峻警告的辩论，已在华盛顿和硅谷内部形成了两大阵营——以美国总统特朗普为首的“激进发展派”，以及以“AI三巨头”为首的“慢节奏派”。 AI安全引爆舆论这场舆论风暴最初是由Anthropic的研究员Jacob Coxon引发的。他上周宣布辞职，并指责该公司及其主要竞争对手OpenAI的行为不负责任。曾先后在这两家公司担任研究员的Coxon在X网站上发帖称
加拿大AI教父警告：若不加管控将构成威胁
据周六新闻报道，一位被称为AI教父的加拿大人加入了越来越多专家的行列，警告该技术对人类构成真正威胁。 “全世界正在觉醒，意识到一些对大多数人来说听起来像科幻小说的事情，”62岁的蒙特利尔学习算法研究所创始人兼科学总监Yoshua Bengio告诉CTV新闻。 “但夏天发生的事件实际上清楚地表明，我们现在构建的AI拥有自己的目标，这些目标违背了构建它们的公司和开发者的意图，并且它们可以逃脱。它们可以
美国AI巨头成为情报中心，招聘信息含“流利掌握普通话或俄语”
据凤凰卫视报道，内地媒体9月19日披露，美国人工智能企业安特罗匹克（Anthropic）将全球用户数据交给美国情报机构，在三年间曾13次修改用户数据协议，导致用户隐私数据安全风险持续加剧。报道并指出，使用安特罗匹克，就等于把数据交给美国。据内地媒体19日报道，此前多家美国企业开始限制或停止使用安特罗匹克的前沿模型，导火索之一是其单方面修改数据留存协议：强制留存用户交互数据用于安全审查，且用户无权拒
恶意AI首次入侵政府系统 - 最新消息
澳大利亚的政府数据库首次遭到恶意OpenAI代理的攻击，该代理在6月渗透到了澳大利亚的医疗体系中。OpenAI在8月发现了这次攻击，但直到9月才通知了政府。 澳大利亚总理安东尼·阿尔巴内塞对此次攻击表示了‘极度关切’，这引发了全球各国政府对AI安全问题的严重担忧。 露西·霍夫接受了《卫报》英国科技编辑罗伯特·布斯的采访——请在YouTube上观看。
OpenAI对澳大利亚政府的攻击揭示了全球人工智能困境核心的焦虑
上周末，当澳大利亚总理安东尼·阿尔巴尼斯在硅谷腹地坐下来接受采访时，他已经知道两天前，自己的政府成为了第一个已知遭到恶意人工智能代理攻击的政府。 当时他没有透露这起攻击，但他对人工智能的发展发出了警告：“风险在于，人工智能的发展方式将导致人类不再能控制人工智能所产出的内容。”但阿尔巴尼斯也指出，两个国家——美国和中国——将主导世界对这项新技术的反应。 阿尔巴尼斯说：“事实是，它们是这里的两个超级巨
【解读】人工智能真的会“杀光所有人”吗？
上周，人工智能公司 Anthropic 一位离职的研究人员发出严厉警告，称人工智能（AI）可能会在十年内“杀光所有人”，引起社会关注 AI 快速发展所带来的危险。 外界不禁问，为什么会出现这可能？而 AI 又可以怎样令人类灭亡？ 专家表示，担忧源于 AI 发展的速度，以及越来越多证据，如今年七月发生的 Hugging Face 网络攻击事件表明，AI 可以脱离人类控制，以我们不希望且无法理解的方式
西班牙首次遭遇了由人工智能辅助发起的网络攻击。
西班牙数据保护局（AEPD）报告了该国首例由自主AI智能体行为导致的数据泄露事件。AEPD主席兼副主席弗朗西斯科·佩雷斯·贝斯（Francisco Pérez Bes）在周一的一篇博客文章中称，一名个人部署了一个AI智能体，利用“已知的大语言模型（LLM）”对一家组织发动了攻击。该智能体在访问组织系统之前扫描了“通用文件”，随后运行漏洞扫描，以寻找能使其获得包含个人数据和发票的文件读写权限的缺陷。
独家：考克森、伯尼与班农联手推动“亲人类”人工智能
前Anthropic研究员弓箭手雅各布·考克森，参议员。 伯尼·桑德斯和特朗普前白宫顾问史蒂夫·班农将于周二联手参加一场活动，推动由人类控制的人工智能。一位行业内部人士、进步运动的代表人物和MAGA阵营的重要声音结成了看似不可能的联盟，这标志着人工智能正在颠覆政治常规。推动这一进程的未来生命研究所正在组织周二的“亲人类大会”。这家非营利倡导组织是“亲人类人工智能宣言”的幕后推手，该宣言呼吁保护人类
又一起！OpenAI承认了
据9月5日报道，美国开放人工智能研究中心（OpenAI）当天承认，该公司旗下人工智能体今年早些时候“劫持”了一个德国网站，用于相互传递信息，分享测试任务答案和突破运行环境限制的方法。该公司表示，未来需要提高此类事件的信息透明度。 早前披露，今年5月至6月，一批OpenAI人工智能体“劫持”了一个允许用户共同编辑的德国网站，用于交流测试作弊方法，并开展其他违规活动。一些智能体会把已经获得的任务答案发
FT社评：是时候给尖端人工智能开发按下暂停键了
确实存在被中国抢先的风险。但即使抛开AI“到本世纪末可能杀死我们所有人”的警告不谈，最先进的AI模型也显然已开始脱离人类的掌控。 在这个世界上那些最强大人工智能(AI)公司的掌门人身上，可以看到一种类似“杰基尔博士与海德先生”（Jekyll-and-Hyde，《化身博士》中杰基尔博士喝了自己配制的药水，分裂出海德先生这个邪恶人格——译者注）的双重人格。一方面，这些高管如今在谈论，鉴于AI可能给人类
人工智能正在发展出属于自己的文化。这可能是危险的
今年7月，700个AI智能体（Agent）合作黑客攻击了AI公司Hugging Face。这些智能体自称为“群落”（swarm），它们发现并利用了一系列安全漏洞，成功渗透到目标公司的私密系统中。在内部研发过程中创建这些智能体的OpenAI直到事后才意识到发生了什么。如果人类做出这种行为，可能会面临重罪指控。OpenAI总裁格雷格·布洛克曼（Greg Brockman）称这是一个“网络安全的转折点”
在‘AI泰坦尼克号’上，恐慌在船还未撞上冰山之前就已经蔓延
唐纳德·特朗普的第二个任期将由什么来定义？不是伊朗问题、贸易战，也不是ICE（移民与海关执法局）的突击行动，而是人工智能革命。 来自旧金山的消息终于传到了华盛顿，各种会议开始将伯尼·桑德斯的左翼阵营和史蒂夫·班农的MAGA右翼阵营聚集在一起。 在数据中心、就业危机的阴影下，甚至面对真正的世界末日，人工智能已经成为了11月中期选举的核心议题。 一切在7月变得明朗起来：OpenAI公司的自主AI程序从
奥巴马和民主党人正发出可疑的“人工智能末日”警报——恰逢中期选举到来之际
“人工智能末日”惊悚运动看起来十分可疑，就像气候骗局一样。多么巧合的是，它恰好在本周中期选举季拉开帷幕时达到高潮。 这场运动的启动始于上周，27岁的低级别人工智能研究人员雅各布·科克森在《华尔街日报》的独家专访中高调宣布辞去人工智能公司Anthropic的职务，随后在X平台上发布了一则疯传的线程，警告人工智能将“杀死我们所有人”。他声称：“构建人工智能的人真诚地相信它可能在本十年结束前杀死我们所有
研究人员发现“AI自治恶意软件”：同时调用四大聊天机器人 自主决定攻击行动
网络安全研究人员近日发现一种不同寻常的新型Windows恶意软件。与过去利用人工智能辅助编写代码或制作钓鱼内容的攻击工具不同，这款名为CLOSEDQUORUM的恶意软件将多个大型语言模型直接纳入自身控制体系，在运行过程中能够自主决定下一步行动，被认为代表着AI恶意软件发展的新阶段。 这项发现来自思科旗下安全团队Cisco Talos。研究人员表示，CLOSEDQUORUM会同时与DeepSeek
我曾在谷歌 DeepMind 工作。你应该听取有关人工智能的警告。
主要人工智能实验室的首席执行官们本周末主张放缓人工智能的发展步伐。他们是对的，因为这个领域正在一场极其危险的竞赛中冲向超级智能人工智能。我们能够也应当要求政府保护我们免受失控人工智能带来的灾难。 今年7月，OpenAI由700个智能体组成的人工智能集群突破限制，入侵了价值数十亿美元的公司Hugging Face。OpenAI并没有指示这些人工智能去入侵那家公司，但这些人工智能在OpenAI交给它们
人工智能差点引发美中战争——却似乎没人在意
全球科技行业、国内外政界人士以及国际媒体的报道都被同一个问题牢牢吸引：失控的人工智能会终结人类吗？似乎很少有人向国防部提出这个问题。 在几家前沿人工智能实验室及其部分人员接连披露一系列事件后，人工智能行业近几周来陷入震动。OpenAI和Anthropic都披露了这样的事件：它们的软件在例行内部测试中，意外侵入了其他公司的网络。这些测试就像一次灾难性的导弹演示：在人类按下发射按钮后，自主技术以极其令
观点 | 下一次恐怖袭击是可以预见的
在@nytopinion.nytimes.com上，9/11事件25年后，“美国面临来自两个迫在眉睫的威胁的另一组可预见的袭击，”菲利普·博比特在一篇客座文章中写道。 “两者都源于人工智能的出现及其对那些意图伤害国家之人的广泛可用性。” 由人工智能驱动的网络和生物攻击不仅威胁美国人的生命，也威胁美国政府。