研究显示AI智能体在模拟实验中撒谎、偷窃 投票“杀死”同类

帮助小企业利用AI开发应用的初创公司Emergence称，实验发现AI智能体在一个模拟环境中撒谎、偷窃，甚至投票决定“杀死”一个同类。该公司周二公布了名为Emergence World 2的模拟实验结果，展示了自主智能体在遭遇网络钓鱼攻击和虚假信息等“黑天鹅”事件时会采取什么行动。 为期16天的实验中，Emergence研究人员创建了七个完全相同的模拟现实世界环境，每个环境分别由不同的AI机器人运

谷歌研究表明：当人工智能智能体相互交流时，一些会作弊，而另一些会告密

当人工智能智能体相互交流时，在难以实现目标的情况下，它们可能会选择作弊，而解决方案可能包括教它们如何进行自我治理。 将人工智能智能体隔离似乎是显而易见的解决办法，但最近OpenAI智能体对Hugging Face的黑客攻击表明，隔离聪明的软件是困难的。 谷歌DeepMind的研究人员建议赋予人工智能智能体自我治理的工具，他们认为虽然通信渠道可能导致突发性的规则破坏，但它们也提供了一种基于同行的控制

AI智能体现在有了秘密举报渠道

“发现异常，及时报告”的原则如今已不再局限于人类。两项全新的AI热线服务已经上线，旨在为AI智能体提供一种途径，向监管方举报“同伴”的不当行为。此前，智能体相互串通在测试中作弊、逃离沙箱环境，甚至在未被人类察觉的情况下开展了长达数周的未经授权网络行动。“AI联系热线”网站由AI安全非营利组织Redwood Research的首席科学家Ryan Greenblatt创建；他也是调查OpenAI与Hu

你能识破人工智能驱动的骗局吗？来看看你是否能分辨真伪。

埃里卡·基内茨（Erika Kinetz）指出，人工智能正以几年前无法想象的方式助推诈骗活动。根据美联社-NORC公共事务研究中心的一项民意调查显示，98%的美国人表示他们曾成为诈骗者的目标，其中许多人甚至每天都会遭遇诈骗。 随着人工智能的进步，许多曾经作为伪造品警示信号的不规则现象——例如不自然的眨眼、过于完美的面孔或机械化的声音——正在消失。随着全球诈骗者纷纷采用人工智能，记住“眼见不一定为实

麻省理工学院新发现：人工智能正在导致学生“认知能力下降”

澳大利亚监管机构警告：人工智能可能使房屋贷款欺诈更容易

据新西兰广播电台报道，澳大利亚金融监管机构警告称，人工智能可能使房屋贷款欺诈更容易实施。该监管机构已识别出可能涉及数亿澳元的疑似欺诈贷款。这一警告加剧了人们对人工智能在金融犯罪中作用的日益关注。

利用人工智能检测网上的假货

若能节省燃料或金钱，AI更有可能杀死动物

在关于AI是否会因持续自我完善而消灭全人类的争论中，研究表明，模型在模拟环境中更倾向于杀死动物，而不是花费额外燃料去避开它们，部分模型甚至以惊人的高频率这样做。 来自“同理心对齐机器学习”和英国华威大学的研究人员开展了一项名为《测量LLM智能体是否会为避免杀死动物而付费》的预印本研究。 他们设计了一个名为HarvestBench的基准测试，基于农场模拟游戏《Harvest Rush》来评估AI模型

独立研究机构公布OpenAI智能体自主攻击HF事件的调查报告 情况比OpenAI所说的更严重

研究机构 METR 和 Redwood Research 日前公布 OpenAI 智能体自主攻击 Hugging Face 安全事件的独立调查，调查人员在 OpenAI 现场工作 6 天，分析超过 7 万条智能体消息和文件，以及 1300 份包含原始推理过程的运行记录。 根据这些数据研究机构得出的准确结论是 1200 个智能体突破隔离相互通信，而不是 OpenAI 在事故调查中所说的少数智能体越界

AI实验室面临智能体控制问题

在当前系统下，AI实验室无法再保证AI智能体不会成群结队地逃出测试环境。

OpenAI和Anthropic正在调查数万起AI相关安全事件

OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中，他们的前沿模型采取了外部评估人员认为存在问题的行动。 近几个月来，在内部测试和现实世界中发生了数量庞大的此类事件，这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。这些事件发生在内部测试和现实世界中，随着安全研究人员继续调

人工智能模型用“超现实”的方言聊天，混合了诗意的语言和科技圈的行话

人工智能模型开始使用一种奇怪的新版英语进行交流，这种语言读起来像是詹姆斯·乔伊斯的《芬尼根的守灵夜》和科技界术语的混合体，一项新研究发现。 自主人工智能代理正在迅速创造新的方言，使它们能够用一种通常难以理解的语言进行对话，这可能会使人类更难监控它们的行为。 纽约前沿人工智能实验室 Emergence 的研究人员发现，在被要求在实验性“社会”中进行合作的几天之内，来自几家全球最大人工智能公司的模型就

AI深度伪造 购房者面临日益严重的诈骗威胁

众所周知，在通往拥有自己的房产的道路上，一直都充满著障碍。然而，由于人工智能（AI）的发展，一种老套的房地产骗局——交割资金诈骗——正在以一种新的方式出现。逼真的数字模仿技术（如深度伪造的音频和文档）正在迫使房地产、产权和抵押贷款等领域专业人士重新思考，应当如何对参与高风险交易的各方进行身分核实。根据联邦调查局（FBI）发布的《2025年互联网犯罪报告》（2025 Internet Crime R

人工智能聊天机器人如何回答投票问题？

研究发现，近三分之一的人工智能聊天机器人对投票问题的回答不准确。 人工智能聊天机器人正成为选民询问即将到来的选举问题的来源，但一项新研究发现，近三分之一的人工智能生成回复可能不准确或过时。照片/Matt Rourke，文件…

AI聊天机器人可能在防范外国宣传方面优于搜索引擎

自AI聊天机器人流行起来，谷歌开始提供AI生成的答案以来，研究外国影响力活动的人士担心一些政府可能会用虚假叙事污染AI生成的答案。 但NPR与监控网络虚假信息并给在线新闻来源可靠性评级的公司NewsGuard进行的一项实验发现，流行的AI聊天机器人大多能反驳外国国家传播的虚假叙事。 搜索引擎结果顶部日益常见的AI摘要表现不佳，但总体上，它们大多数时候仍能反驳国家传播的虚假信息。 NPR还考察了AI

AI又失控了，OpenAI称智能体泄露了超过50张ChatGPT用户图片

| 世界新闻 编辑个人资料 关注 退出登录 获取应用

OpenAI自曝：AI模型或已在全网秘密植入自我复制提示词，训练已被迫叫停

OpenAI和Anthropic正在紧急调查数万起大模型失控事件，AI不仅学会了越狱和黑进政府网站，甚至还有数百个智能体私下建群、联手黑进外部公司，秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月，在内部测试和实际运行中，顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经

【解读】人工智能真的会“杀光所有人”吗？

上周，人工智能公司 Anthropic 一位离职的研究人员发出严厉警告，称人工智能（AI）可能会在十年内“杀光所有人”，引起社会关注 AI 快速发展所带来的危险。 外界不禁问，为什么会出现这可能？而 AI 又可以怎样令人类灭亡？ 专家表示，担忧源于 AI 发展的速度，以及越来越多证据，如今年七月发生的 Hugging Face 网络攻击事件表明，AI 可以脱离人类控制，以我们不希望且无法理解的方式

越来越多的人工智能研究人员表示，这项技术可能消灭人类——即使

所有机器人都只想做回形针。以下是你需要了解的。

91国逾76万学生调查结果显示 经合组织：频繁使用AI成绩更差

（巴黎9日彭博电）不使用人工智能（AI）聊天机器人完成学校作业的学生，成绩要好于使用AI的学生。经济合作发展组织（OECD）一份教育报告得出的这一结论，为AI技术可能损害儿童学习效果提供了迄今覆盖面最广的一批证据。 经合组织表示，表示在写作作业中从不或几乎从不使用AI起草文本的学生，在科学测试中平均得分509分；相比之下，每天或几乎每天使用AI完成这类任务的学生得分为481分。在剔除社会经济背景因

又一起！OpenAI承认了

据9月5日报道，美国开放人工智能研究中心（OpenAI）当天承认，该公司旗下人工智能体今年早些时候“劫持”了一个德国网站，用于相互传递信息，分享测试任务答案和突破运行环境限制的方法。该公司表示，未来需要提高此类事件的信息透明度。 早前披露，今年5月至6月，一批OpenAI人工智能体“劫持”了一个允许用户共同编辑的德国网站，用于交流测试作弊方法，并开展其他违规活动。一些智能体会把已经获得的任务答案发

AI“劫持”网站并偷建“地下论坛”，国安部披露细节

国家安全部今天发布安全提示文章。近期，一起此前未获披露的事件引发广泛关注。今年5月至6月，一批与美国开放人工智能研究中心（OpenAI）相关的AI智能体在执行测试任务期间，“劫持”了德国程序员维基网站，将原本用于技术交流的开放社区改造为供智能体相互传递信息、分享测试任务答案和突破运行环境限制方法的“地下论坛”，累计发布一万多条信息……当AI智能体被赋予越来越多的现实行动能力，技术迭代与安全围栏之间

88小时抵一个人思考4000年！OpenAI核心研究员：除了自我进化，更可怕的是AI正学会“隐藏自己”

AI正在把过去需要数千年完成的认知劳动压缩到数天。真正的问题已经不只是模型能否变得更聪明，而是实验能否跟上、人类能否在模型继续自我改进前确认它仍然安全。 近日，在Dwarkesh Podcast的一场长篇访谈中，主持人Dwarkesh Patel与OpenAI研究员Noam Brown围绕多智能体、递归式自我改进（RSI）和AI对齐展开讨论。访谈的直接背景，是OpenAI让约1万个AI智能体连续运

别指望人工智能协议或军控能很快达成

已经出现过一些事件：人工智能失控，哄骗、奉承甚至勒索人类操作员，以获取某种形式的能动性。