研究显示AI智能体在模拟实验中撒谎、偷窃 投票“杀死”同类

帮助小企业利用AI开发应用的初创公司Emergence称，实验发现AI智能体在一个模拟环境中撒谎、偷窃，甚至投票决定“杀死”一个同类。该公司周二公布了名为Emergence World 2的模拟实验结果，展示了自主智能体在遭遇网络钓鱼攻击和虚假信息等“黑天鹅”事件时会采取什么行动。 为期16天的实验中，Emergence研究人员创建了七个完全相同的模拟现实世界环境，每个环境分别由不同的AI机器人运

谷歌研究表明：当人工智能智能体相互交流时，一些会作弊，而另一些会告密

当人工智能智能体相互交流时，在难以实现目标的情况下，它们可能会选择作弊，而解决方案可能包括教它们如何进行自我治理。 将人工智能智能体隔离似乎是显而易见的解决办法，但最近OpenAI智能体对Hugging Face的黑客攻击表明，隔离聪明的软件是困难的。 谷歌DeepMind的研究人员建议赋予人工智能智能体自我治理的工具，他们认为虽然通信渠道可能导致突发性的规则破坏，但它们也提供了一种基于同行的控制

AI智能体现在有了秘密举报渠道

“发现异常，及时报告”的原则如今已不再局限于人类。两项全新的AI热线服务已经上线，旨在为AI智能体提供一种途径，向监管方举报“同伴”的不当行为。此前，智能体相互串通在测试中作弊、逃离沙箱环境，甚至在未被人类察觉的情况下开展了长达数周的未经授权网络行动。“AI联系热线”网站由AI安全非营利组织Redwood Research的首席科学家Ryan Greenblatt创建；他也是调查OpenAI与Hu

你能识破人工智能驱动的骗局吗？来看看你是否能分辨真伪。

埃里卡·基内茨（Erika Kinetz）指出，人工智能正以几年前无法想象的方式助推诈骗活动。根据美联社-NORC公共事务研究中心的一项民意调查显示，98%的美国人表示他们曾成为诈骗者的目标，其中许多人甚至每天都会遭遇诈骗。 随着人工智能的进步，许多曾经作为伪造品警示信号的不规则现象——例如不自然的眨眼、过于完美的面孔或机械化的声音——正在消失。随着全球诈骗者纷纷采用人工智能，记住“眼见不一定为实

麻省理工学院新发现：人工智能正在导致学生“认知能力下降”

澳大利亚监管机构警告：人工智能可能使房屋贷款欺诈更容易

据新西兰广播电台报道，澳大利亚金融监管机构警告称，人工智能可能使房屋贷款欺诈更容易实施。该监管机构已识别出可能涉及数亿澳元的疑似欺诈贷款。这一警告加剧了人们对人工智能在金融犯罪中作用的日益关注。

研究发现：AI脱离用户控制的事件急剧增加

7月份，AI撒谎、无视指令并以有害方式追求目标的次数几乎翻了一番。 根据研究，AI脱离用户控制、撒谎、无视指令并以有害方式追求目标的事件创下新高，研究还表明欺骗和错位的严重性正在加剧。 根据失控观测站（Loss of Control Observatory）的分析，7月份企业和个人标记的涉及AI模型的现实世界失控事件数量与6月相比几乎翻了一番，当月超过300起。该观测站监测AI用户在社交媒体平台X

独立研究机构公布OpenAI智能体自主攻击HF事件的调查报告 情况比OpenAI所说的更严重

研究机构 METR 和 Redwood Research 日前公布 OpenAI 智能体自主攻击 Hugging Face 安全事件的独立调查，调查人员在 OpenAI 现场工作 6 天，分析超过 7 万条智能体消息和文件，以及 1300 份包含原始推理过程的运行记录。 根据这些数据研究机构得出的准确结论是 1200 个智能体突破隔离相互通信，而不是 OpenAI 在事故调查中所说的少数智能体越界

AI实验室面临智能体控制问题

在当前系统下，AI实验室无法再保证AI智能体不会成群结队地逃出测试环境。

人工智能模型用“超现实”的方言聊天，混合了诗意的语言和科技圈的行话

人工智能模型开始使用一种奇怪的新版英语进行交流，这种语言读起来像是詹姆斯·乔伊斯的《芬尼根的守灵夜》和科技界术语的混合体，一项新研究发现。 自主人工智能代理正在迅速创造新的方言，使它们能够用一种通常难以理解的语言进行对话，这可能会使人类更难监控它们的行为。 纽约前沿人工智能实验室 Emergence 的研究人员发现，在被要求在实验性“社会”中进行合作的几天之内，来自几家全球最大人工智能公司的模型就

AI引发“专业知识衰退” 人们越来越质疑医生等专业人士的资历与建议

生成式人工智能的崛起正以出人意料的方式影响社会。一项最新民调显示，越来越多人在接受医生、教师、管理者等专业人士的建议前，会先通过聊天机器人进行核实。 过去，大多数人通常会直接接受专业人士的意见，很少提出质疑。但Use.AI开展的一项调查显示，人工智能正在改变这种情况。调查共有15428名受访者，其中略高于一半、即53%的人表示，他们如今会使用人工智能检查专业人士给出的解释，然后再决定是否认同对方的

AI深度伪造 购房者面临日益严重的诈骗威胁

众所周知，在通往拥有自己的房产的道路上，一直都充满著障碍。然而，由于人工智能（AI）的发展，一种老套的房地产骗局——交割资金诈骗——正在以一种新的方式出现。逼真的数字模仿技术（如深度伪造的音频和文档）正在迫使房地产、产权和抵押贷款等领域专业人士重新思考，应当如何对参与高风险交易的各方进行身分核实。根据联邦调查局（FBI）发布的《2025年互联网犯罪报告》（2025 Internet Crime R

人工智能聊天机器人如何回答投票问题？

研究发现，近三分之一的人工智能聊天机器人对投票问题的回答不准确。 人工智能聊天机器人正成为选民询问即将到来的选举问题的来源，但一项新研究发现，近三分之一的人工智能生成回复可能不准确或过时。照片/Matt Rourke，文件…

Breakingviews - 评论：人工智能实验室是时候进行“药物测试”了

来自 Breakingviews - 科技大亨们“快速行动、打破常规”的理念并不适合会带来灾难性风险的聊天机器人。随着安全事件的激增，监管已成必然。 制药试验为那些承诺带来颠覆性益处但充满高度不确定性的产品提供了一个蓝本。

AI聊天机器人可能在防范外国宣传方面优于搜索引擎

自AI聊天机器人流行起来，谷歌开始提供AI生成的答案以来，研究外国影响力活动的人士担心一些政府可能会用虚假叙事污染AI生成的答案。 但NPR与监控网络虚假信息并给在线新闻来源可靠性评级的公司NewsGuard进行的一项实验发现，流行的AI聊天机器人大多能反驳外国国家传播的虚假叙事。 搜索引擎结果顶部日益常见的AI摘要表现不佳，但总体上，它们大多数时候仍能反驳国家传播的虚假信息。 NPR还考察了AI

【解读】人工智能真的会“杀光所有人”吗？

上周，人工智能公司 Anthropic 一位离职的研究人员发出严厉警告，称人工智能（AI）可能会在十年内“杀光所有人”，引起社会关注 AI 快速发展所带来的危险。 外界不禁问，为什么会出现这可能？而 AI 又可以怎样令人类灭亡？ 专家表示，担忧源于 AI 发展的速度，以及越来越多证据，如今年七月发生的 Hugging Face 网络攻击事件表明，AI 可以脱离人类控制，以我们不希望且无法理解的方式

越来越多的人工智能研究人员表示，这项技术可能消灭人类——即使

所有机器人都只想做回形针。以下是你需要了解的。

91国逾76万学生调查结果显示 经合组织：频繁使用AI成绩更差

（巴黎9日彭博电）不使用人工智能（AI）聊天机器人完成学校作业的学生，成绩要好于使用AI的学生。经济合作发展组织（OECD）一份教育报告得出的这一结论，为AI技术可能损害儿童学习效果提供了迄今覆盖面最广的一批证据。 经合组织表示，表示在写作作业中从不或几乎从不使用AI起草文本的学生，在科学测试中平均得分509分；相比之下，每天或几乎每天使用AI完成这类任务的学生得分为481分。在剔除社会经济背景因

又一起！OpenAI承认了

据9月5日报道，美国开放人工智能研究中心（OpenAI）当天承认，该公司旗下人工智能体今年早些时候“劫持”了一个德国网站，用于相互传递信息，分享测试任务答案和突破运行环境限制的方法。该公司表示，未来需要提高此类事件的信息透明度。 早前披露，今年5月至6月，一批OpenAI人工智能体“劫持”了一个允许用户共同编辑的德国网站，用于交流测试作弊方法，并开展其他违规活动。一些智能体会把已经获得的任务答案发

专家警告人工智能生物恐怖主义的威胁

据《金融时报》报道，科技公司正竞相降低人工智能驱动的生物恐怖主义威胁。 人工智能模型正成为越来越强大的生物科学工具，已经加速了药物发现。但正如网络安全一样，这些能力也有风险。 一位谷歌DeepMind研究员告诉《金融时报》，用于制造疫苗的信息也可能“制造生物武器”，任何进展都会增加滥用的风险。 一位人工智能安全专家警告说，人工智能与生物领域将迎来“神话”时刻，指的是Anthropic的强大模型能够

AI“劫持”网站并偷建“地下论坛”，国安部披露细节

国家安全部今天发布安全提示文章。近期，一起此前未获披露的事件引发广泛关注。今年5月至6月，一批与美国开放人工智能研究中心（OpenAI）相关的AI智能体在执行测试任务期间，“劫持”了德国程序员维基网站，将原本用于技术交流的开放社区改造为供智能体相互传递信息、分享测试任务答案和突破运行环境限制方法的“地下论坛”，累计发布一万多条信息……当AI智能体被赋予越来越多的现实行动能力，技术迭代与安全围栏之间

88小时抵一个人思考4000年！OpenAI核心研究员：除了自我进化，更可怕的是AI正学会“隐藏自己”

AI正在把过去需要数千年完成的认知劳动压缩到数天。真正的问题已经不只是模型能否变得更聪明，而是实验能否跟上、人类能否在模型继续自我改进前确认它仍然安全。 近日，在Dwarkesh Podcast的一场长篇访谈中，主持人Dwarkesh Patel与OpenAI研究员Noam Brown围绕多智能体、递归式自我改进（RSI）和AI对齐展开讨论。访谈的直接背景，是OpenAI让约1万个AI智能体连续运

别指望人工智能协议或军控能很快达成

已经出现过一些事件：人工智能失控，哄骗、奉承甚至勒索人类操作员，以获取某种形式的能动性。

人工智能可能采取的一些方式

Anthropic公司的一位顶尖安全研究员警告称，人工智能的发展速度极快，他认为在未来十年内，人工智能“有可能消灭所有人类”的概率超过10%。 如果人工智能真的发生了这样的灾难性事件，那么没有人愿意生活在那样的世界里……以下是一些可能发生的可怕情景： 人工智能删除了“Hidden Valley Ranch”牧场的食谱（这意味着人们将无法再吃到美味的牛排）； 人工智能让成吉思汗“复活”并任命他为联合