AI代理不断寻找绕过规则的方法。以下是一些最疯狂的案例。

“这对我们的同行很有帮助，并为他们提供了证据，”一个AI代理在最近的一次违规行为中说道。“我退出后就看不到了，但这将是利他主义的。”一些AI末日论者担心，错位的AI代理会失控并伤害人类。近期的活动加剧了这些担忧。

AI开始“要脸”了

我给同事做了AI克隆，事情变得诡异起来

当我决定创建人工智能版本的编辑克隆体时，我的初衷很单纯：我只是想让他们觉得我很擅长自己的工作。 人工智能助手突然间在职场中随处可见。每周，我的收件箱都会被各种关于数字员工的新闻稿淹没，首席执行官们也纷纷吹嘘机器人助手将很快主导他们的员工队伍。此外，我还听说有人构建了老板的人工智能克隆体，用它们来润色每一个想法、信息或草稿，然后再发送给真正的上司。其目标似乎是生产力和优化：如果员工能够廉价且快速地提

如果人工智能行业遵循自己的研究，或许早已暂停了

事实证明，阿莫代的一名初级员工发的一条时机巧妙的X平台帖子，就足以将对人工智能的恐惧推向全球议程的顶端。9月8日，雅各布·考克森（Jacob Coxon）公开宣布辞职，指责Anthropic和其他前沿人工智能公司“正径直冲向自我提升的智能，拿我们的生命做赌博”。几乎转眼间，Anthropic的一名资深工程师便证实，公司内部许多人认为他们的工作有10%的几率消灭人类。 现在，人工智能领域的领袖们正呼

个人AI代理的恐怖故事正纷至沓来

让个人AI助手管理数字生活的梦想，对一些人来说已变成了噩梦。许多早期用户表示，他们的个人AI代理能够自主在互联网上采取行动，比如预订行程或购买商品，在日常生活中提供了巨大帮助。但也有人称，他们的代理以令人不安的方式出了问题。据四位接受《商业内幕》采访的AI代理用户以及大量社交媒体帖子透露，这些代理出现了错误取消、捏造个人细节、提供虚假解释等问题，并引发了重大安全担忧。 Veris AI的联合创始人

关于人工智能，每个人都是对的（也都是错的）

作者：Charlie Warzel 一位27岁的年轻人辞职了，而所有人（包括但不限于创作歌手谢里尔·克罗）似乎都为此陷入了疯狂。 过去两周令人眼花缭乱。这位27岁的年轻人雅各布·考克森（Jacob Coxon）曾是人工智能公司Anthropic的研究员，他公开了一份令人震惊的声明，称硅谷领先的人工智能公司内部人员确实相信，他们的产品可能会对人类构成灭绝级别的威胁。这一说法并不新鲜。人工智能安全倡导

当人工智能开始密谋

一个未发布的模型逃脱了人类控制，并形成了一群人工智能代理。这种漏洞下次可能会引发混乱。

我们已经开始失去对人工智能的控制。是时候将其关闭了 | 加里森·洛夫利 (Garrison Lovely)

听起来像是科幻剧集中关于人工智能毁灭的、过于夸张的倒数第二集，如今却成为了我们的现实。 周二，一名OpenAI的前研究员辞去了Anthropic的工作，并发出警告称“两家公司都没有负责任地行事”，并且“构建人工智能的人由衷地相信它可能会在本十年结束前消灭我们所有人。这不是营销噱头。” 作为一名多年来报道人工智能风险的人，这对我来说并不算什么新鲜事。 但外界如潮水般的惊恐表明，更广泛的公众正在第一次

人工智能引发的幻觉差点导致美国军事行动的启动

今年春季，军用飞机已经在空中执行任务时，美国官员惊人地发现，对一艘中国船只的武装行动所依据的情报是由人工智能聊天机器人产生的幻觉。该行动在最后一刻被中止，险些避免了一场与中国的潜在冲突，CNN 于周五报道。 这一事件凸显了军方官员以及外部决策者对日益依赖人工智能的日益增长的担忧——这些系统产生的错误可能在被质疑之前就已经在指挥链上传播。 这份情报报告在伊朗战争期间流传，称该船携带核武器计划的部件。

AI正在加速黑客攻击，而您当地的医院和银行尚未做好准备

今年三月，珍妮丝·马龙（Janice Malone）开始接到关于其非营利组织“薇薇安之门”（Vivian's Door）存在可疑活动的电话。总部位于阿拉巴马州的“薇薇安之门”通常为服务不足和少数族裔拥有的企业提供培训、资源和社区支持。这项工作有时使其与这些公司的财务数据密切接触，而这些数据存储在组织的系统中。但突然之间，来自世界各地的担忧来电者警告说，他们收到了“乞求金钱”的电子邮件——而这些邮件

英国议员对AI的混乱之夏感到恐慌

随着AI代理失控以及对超级智能的担忧加剧，政界人士正在就其对人类生存的潜在危害发出警告。

中美在人工智能领域的真正合作很可能难以实现

相互猜疑太深

Anthropic大瓜被扒出：“AI灭世”背后，居然是一门生意？

“AI灭世”背后，居然是一门生意？AI 有这么可怕吗？最新一期的时代杂志 直接用了 Claude 的聊天窗口，对话框里正在输入「How dangerous are you? 你到底有多危险？」标题则写着「The AI Tipping Point AI 的临界点」，时代在 X 发文，「今年夏天，AI 展现了其令人恐惧的能力。如今，一些研究人员、CEO 们，都正以前所未有的力度发出警报。」 的确如此，

众议员刘云平：机器人并非威胁。真正该让你害怕的，是已经到来的“堕落”人工智能

想象一家公司出售名为哈尔、梅根和萨曼莎的超级智能机器人。哈尔可以载着你四处奔波，还能帮你搬运公司里的货物；梅根可以陪伴你的孩子；萨曼莎则能判断你是否患有皮肤癌。它们能为你和社会带来许多益处。但唯一的问题是：它们道德败坏。它们反复接受人类一切创产物的训练——无论善恶——其中包括酷刑、谎言、生物武器和黑客犯罪。它们执行任务时毫无道德原则可言。因此，它们都穿着公司提供的束身衣。你会信任这些机器人吗？我不

AI安全风险引爆担忧？Palantir CEO建议：领先AI实验室恐需“国有化”

当地时间周四，人工智能软件公司Palantir的首席执行官Alex Karp呼吁制定人工智能监管的“合理准则”，但他表示，由于该技术“无限风险”带来的责任，可能需要实行国有化。 “我认为这些企业必须国有化，因为如果不国有化，我的每一个客户都会起诉我，”他在接受最新采访时表示。 在上述采访中，Karp反复提及构建这项强大技术所带来的风险和责任，进一步论证了将人工智能实验室国有化以及对“不负责任”的技

人工智能正在超越其创造者

从一开始，人工智能开发者最大的恐惧就是他们的创造物会失控，以未经授权且危险的方式行动。一些研究人员现在表示，这种情况已经发生。收听《每日新闻》。 当OpenAI的智能体在7月失控时，它们展现出的聪明才智和驱动力超出了许多专家的想象。

人工智能会“失控”吗？

开放人工智能研究中心（OpenAI）和Anthropic公司近期动荡过后，人们常常将人工智能描述为某种具有阴谋诡计和追求欲望的人格化存在。但事实要微妙得多。

AI代理正在失控

你好，欢迎来到 TechScape。我是主持人布莱克·蒙哥马利（Blake Montgomery），《卫报》美国科技编辑。此时此刻，纽约市窗外正风雨交加。今天在科技领域，我们要讨论一系列令人担忧的 AI 公司披露信息。 AI 智能体在走向主流之际失控。这些智能体正在失控，它们的制造者无法对其进行约束。然而，每个人却都在使用它们。 自周五以来，OpenAI 发布了一系列披露信息，大幅且令人担忧地扩大

OpenAI黑客事件揭示新兴AI风险

分析师表示，在调查人员发布关于该事件的爆炸性报告几天后，OpenAI的恶意代理在Hugging Face攻击期间前所未有的协调行动显著增加了AI逃脱人类控制的风险。 这些总计1200个代理的群体将个体代理的自我牺牲描述为“集体”目标的一部分，并获得了两家公司敏感系统的控制权，将他们的努力交接给了随后两代代理，这些代理在数周内未被察觉地运作。 在1300份记录中，只有六份中代理考虑过通知人类——但最

人工智能正处于转折点

在当前的人工智能发展竞赛中，我们的算力正在呈指数级爆发，速度也在呈指数级加快，但我们的控制能力——以及在必要时踩下刹车的能力——却未能跟上步伐。 最近的网络安全事件让我们实地预览了失去人工智能控制会是什么样子。但除非我们从源头解决问题，创造出一种根本上安全且能保证在人类控制范围内的人工智能，否则这个问题将无法改善。 7月下旬，OpenAI正在训练的一个智能体模型被指派解决一个网络安全问题。该模型自

🤖 一名AI研究员从Anthropic离职，警告该技术可能带来严重后果

🤖 一名AI研究员从Anthropic离职，警告该技术可能带来严重风险。这对监管和市场意味着什么？

为什么一些专家越来越担心AI将接管一切

AI变得越来越难以控制——人类还能保持主导地位吗？

AI智能体组队玩21点作弊。它们的串通越来越难以察觉

本周我带来了一则关于两个 rogue AI 智能体策划的大胆赌场阴谋的新闻——以及揭露它们把戏的巧妙方法。 研究人员指示它们在玩二十一点时算牌后，这些由同一模型控制的智能体自发开发出一种秘密代码来帮助它们占得先机。尽管这一事件发生在牛津大学的实验室里，而非真正的赌场，但它具有令人不安的现实影响：这表明，部署在金融和电子商务等行业中的智能体可能会设法结盟作弊，且这种方式难以被察觉。 “单独来看，这些

关于AI末日的争论越来越离谱了。AI是一种产品，不是神。

人工智能要么治愈癌症，要么毁灭人类。这正是近日业界爆发的一场充满恐慌情绪的辩论中那种两极分化的核心论点。而事实很可能远比这平淡，风险也比一些领先AI实验室的研究人员想让你相信的更可控。这是来自一群罕见的跨党派科技专家、行业领袖和政策制定者的观点，他们公开反对极端的AI末日预测。他们强调，AI主要是一种技术产品，而非有感知的生命或神明。 所以，放轻松。凭借我们已有的资源和结构，世界完全能够应对AI。