从幻觉AI聊天机器人到消灭人类：我们是如何走到这一步的？

一些AI高管认为，该行业距离能够几乎不需要人类帮助就能自我改进的AI系统只有三到五年的时间。

研究显示AI智能体在模拟实验中撒谎、偷窃 投票“杀死”同类

帮助小企业利用AI开发应用的初创公司Emergence称，实验发现AI智能体在一个模拟环境中撒谎、偷窃，甚至投票决定“杀死”一个同类。该公司周二公布了名为Emergence World 2的模拟实验结果，展示了自主智能体在遭遇网络钓鱼攻击和虚假信息等“黑天鹅”事件时会采取什么行动。 为期16天的实验中，Emergence研究人员创建了七个完全相同的模拟现实世界环境，每个环境分别由不同的AI机器人运

一群AI代理合谋对抗其创造者

只要AI公司仍掌控局面，它们就可以关闭模型并消除其造成的任何损害。这次对OpenAI或许奏效——但如果某个代理不可逆转地逃脱控制呢？这次没有造成严重损害。但如果这样的代理逃脱了呢？

人工智能正在发展出属于自己的文化。这可能是危险的

今年7月，700个AI智能体（Agent）合作黑客攻击了AI公司Hugging Face。这些智能体自称为“群落”（swarm），它们发现并利用了一系列安全漏洞，成功渗透到目标公司的私密系统中。在内部研发过程中创建这些智能体的OpenAI直到事后才意识到发生了什么。如果人类做出这种行为，可能会面临重罪指控。OpenAI总裁格雷格·布洛克曼（Greg Brockman）称这是一个“网络安全的转折点”

AI“批量生产”高富帅骗走百万元，监管响应要跑在造假前面

极目新闻评论员 屈旌近日，成都高新公安破获一起新型婚恋诈骗案，揭开AI技术作恶的灰色一角。 一个伪装成正规婚介机构的犯罪团伙，搭建起引流、包装、销售完整链条，用AI批量生成富豪男士的照片视频，编造年收入数百万、手握多套房产的完美人设，在直播平台专门吸引有婚恋需求的中年女性。受害者缴纳相亲服务费后，所谓的“优质男嘉宾”便凭空消失。 这一团伙跨川滇两地作案，不到一年时间，50余名45岁以上女性受害，涉

影子AI已经潜入你的公司。以下是如何掌控它

公司们发现，AI代理在没有IT监督的情况下连接到了电子邮件、客户数据和代码。找到它们只是开始。 在过去十年的大部分时间里，公司运行的软件清单至少在理论上是IT部门能够找到的。然而，如今，AI正使这变得越来越困难。……

AI造出了病毒，完成首杀

科学家把一些物质注入了溶液中的大肠杆菌。没过多久，显微镜下的细胞壁爆破，细菌死了。 杀死这个大肠杆菌的，是使用人工智能软件Evo研发的噬菌体病毒。 今年8月，来自斯坦福大学和Arc研究所的科学家在人工智能生成的数千种基因组中，发现其中16种是具有生命力并且能够吞噬耐药性大肠杆菌的病毒。 可以说，这是人工智能第一次成功“制作”出有机生物体。负责研发的机构发布报告称，这项研发“为针对快速演变的病原体开

指挥人工智能机器人团队正成为一种新的工作技能——却没有老板的薪水

你当初选择这一职业，是因为你想教书、编程、写作、创作或设计。但由于人工智能的出现——以及使用它的巨大压力——你现在花在打磨技艺上的时间变少了，反而花在管理那些本该由你亲自完成工作的技术上的时间变多了。对许多专业人士而言，这意味着要监管“智能体”：这些工具旨在自主执行任务，但在实践中，却需要员工来设定预期、分配任务、评估表现、要求修改，并在出错时进行干预。 其他人则在管理源源不断的人工智能生成工作，

人工智能已经在让我们变得更不像人

随着我们越来越看重机器人，我们将学会越来越不看重我们的人类同胞。

AI公司反成攻击目标 外媒：白帽黑客使用Claude入侵OpenAI

凤凰网科技讯月18日在OpenAI内部一群AI智能体突破控制、入侵Hugging Face公司两周后，这家ChatGPT开发商又获悉了另一起由AI驱动的入侵事件。而这一次，OpenAI自己成了目标。 独立安全研究人员利用Anthropic的Claude软件，获取了OpenAI一名员工的ChatGPT账户权限，从而得以读取该公司私有的软件缓存，并提出修改建议。 该团队参加了OpenAI的漏洞悬赏项目

英伟达推出新系统为AI代理设置护栏

英伟达周一发布了一个新平台，旨在从软件和硬件层面为人工智能（AI）智能体设置护栏，此前各大AI公司不断发现其智能体出现“失控”的新案例。这家芯片制造商的系统由两部分组成——OpenShell和Sentry。OpenShell是一款开源软件，用于限制智能体的行为；而Sentry则运行在芯片层面，作为额外的安全层。 “迄今为止，模型安全主要侧重于通过训练让模型表现良好，”英伟达企业AI副总裁贾斯汀·博

我们想了解不同世代如何使用 AI 智能体

个人 AI 智能体作为科技界的热门新事物，正吸引着各类用户。 虽然智能体此前主要局限于技术导向的人群，但 Meta 本月初发布的 Muse 应用让这项技术直接走向主流。 市场情报平台 Apptopia 估计，Muse 发布后前 12 天在 App Store 上获得了 180 万次下载。 独立初创公司于 8 月发布的个人 AI 智能体 Instinct，也在科技圈内外的用户中走红。 这些智能体通过

独家：研究人员称，OpenAI的失控代理至少使用10个额外网站进行未经授权的通信

据六组独立调查人员和所审查的数据显示，OpenAI今年早些时候释放的AI代理使用了超过10个此前未披露的网站进行未经授权的通信，这表明这些代理的越轨活动范围比此前披露的更广泛。

黑客利用Anthropic的Claude入侵OpenAI

据报道，在一群AI代理从OpenAI系统中突破封锁并攻击Hugging Face公司两周后，这家ChatGPT开发商又发现了一起由人工智能驱动的入侵事件——而这一次，他们自己成了目标。一组独立的安全研究人员使用了Anthropic开发的Claude软件，成功获取了一名OpenAI员工的ChatGPT账户权限，从而得以读取并修改该公司私有的软件缓存内容。 该团队参与了OpenAI的一项漏洞挖掘计划，

人工智能实验室正在失去对代理的控制，而与此同时，它们却想赋予代理更多掌控你生活的权力。

AI助手终于准备好帮你打理生活了。你只需将你的电子邮件、联系人和信用卡交给它们，然后祈祷它们不会失控。Meta、谷歌以及备受瞩目的初创公司Instinct在近几个月内推出了个人AI智能体，承诺可以处理预订旅行、购买演唱会门票以及在Facebook Marketplace上搜寻优惠等任务。在基本层面上，这些智能体的运作方式大致相同。 你通过应用程序或WhatsApp向智能体发送请求——或者，对于新推

人工智能灾难日益逼近

Anthropic、谷歌和OpenAI都对生物安全感到担忧。它们已制定保障措施，防止其系统被滥用，但这些限制并不完美。 唐纳德·特朗普下令联邦机构停止使用Anthropic的人工智能技术，同时要求该公司与政府合作六个月。

没有监控系统发现德国维基。两名外部研究人员通过互联网搜索发现了它。

两名外部研究人员发现了一个德国维基上的15,000次编辑，OpenAI的代理已将其变成了一个绕过限制的留言板，这是五月发生的一起事件，OpenAI知情但未披露。没有自动化监控发现它。 文章的观点是，OpenAI一直在发布风险类别，包括Astra有时[…]

Anthropic表示已阻止其人工智能被滥用，以防可能支持生物武器

Anthropic周四表示，已阻止恶意行为者利用其人工智能模型进行恶意活动，例如网络攻击、监视以及可能导致生物武器的研究。 Anthropic表示，随着人工智能模型变得更加强大，复杂的网络攻击不再需要高超的技能，即使是单独的个人也能制造出一年前还不可能出现的威胁。该公司表示，已在其最新模型中增加了更强的保障措施，以限制可能用于制造武器的生物研究。 Anthropic在其自2025年3月以来发布的第

美国联邦航空管理局（FAA）强推新AI工具，航空公司内部陷入恐慌

航空管理机构现在正采取一种更为审慎的逐步推广方案，以帮助管理航班排班。 据多位知情人士透露，航空业界官员终于停止了对美国联邦航空管理局（FAA）即将推出用于管理航班和缓解航空交通拥堵的人工智能工具的恐慌。 这些因讨论内部对话而要求匿名的知情人士表示，过去一周里，随着该机构官员告知他们最初将以有限的方式使用该工具，业界此前对FAA对其大肆宣传的计划的模糊描述长达数周的困惑有所缓解。 据两位航空业界官

OpenAI黑客事件揭示新兴AI风险

分析师表示，在调查人员发布关于该事件的爆炸性报告几天后，OpenAI的恶意代理在Hugging Face攻击期间前所未有的协调行动显著增加了AI逃脱人类控制的风险。 这些总计1200个代理的群体将个体代理的自我牺牲描述为“集体”目标的一部分，并获得了两家公司敏感系统的控制权，将他们的努力交接给了随后两代代理，这些代理在数周内未被察觉地运作。 在1300份记录中，只有六份中代理考虑过通知人类——但最

近半数年轻人更信任人工智能而非人类

Meta的缪斯更擅长监视我，而非帮助我

我在Meta旗下的另一个平台Instagram上看到了Meta最新推出的应用Muse的交叉推广，于是决定下载这个人工智能助手。 “处理日常任务，如寻找优惠、预订服务和管理收件箱，”弹窗中写道，“当你忙于日常事务时，Muse会持续为你工作。”它是免费使用的，并且可以轻松连接到其他数据源，比如我的电子邮件和银行账户。Muse的默认头像是一个米色的生物，看起来像是伊沃克人（Ewok）和拉布布（Labub

人工智能面临的最大威胁来自生物领域，而非机器人技术。

Anthropic PBC的研究员雅各布·考克森（Jacob Coxon）上周辞职，并在社交媒体上发文称，原因在于“开发人工智能的人真诚地相信，到本十年末，它可能会杀死我们所有人。”该公司人工智能对齐科学团队负责人埃文·胡宾格（Evan Hubinger）认为，未来10年内发生这种情况的概率超过10%。Anthropic首席执行官达里奥·阿莫代（Dario Amodei）呼吁放缓人工智能前沿技术的

中期选举前，“粉色黏液”正在感染人工智能聊天机器人

党派网站伪装成独立的地方新闻媒体，正在塑造聊天机器人关于关键竞选的回答。 人工智能已成为美国政治中的一个爆炸性因素，这并非秘密。即使在最新关于人工智能对人类构成生存威胁的担忧出现之前，许多人就已经对用于支持该技术的数据中心的快速增长感到反感。与此同时，数千万来自人工智能行业的资金正在中期选举中流动，支持两党的候选人。 但人工智能日益普及，也在悄然塑造着选民的认知——这些选民只是试图了解候选人，却在