搜索结果
人工智能安全对话已经变得令人难以置信
本周两场关于AI安全的对话在网络上疯传，充分展示了辨别AI事实与虚构有多么困难。 第一起事件中，前总统候选人、现任移动运营商Noble Mobile首席执行官安德鲁·杨周四对CNN表示，他“会见了一位实验室负责人”，对方“认为”OpenAI的Hugging Face黑客机器人“已在互联网各处植入了自我复制代码，导致互联网现在已无法用于测试模型。” 杨安泽表示，这意味着OpenAI和Anthropi
人工智能很强大，但尚未形成意识
人工智能很强大，但尚未形成意识 杜索托伊：我不认为我们正在目睹机器形成意识，而只是算法在参数和限制条件定义不当的情况下实现目标所带来的意外后果。 本文作者是牛津大学(University of Oxford)数学教授兼西蒙尼教席公众理解科学教授 三个月前，我试着使用OpenAI的ChatGPT来协助我进行数学研究，试图发现自由幂零群的zeta函数中的非多项式行为。结果发现ChatGPT毫无用处
如何在保护隐私的情况下使用人工智能
OpenAI的ChatGPT、Anthropic的Claude、Google的Gemini以及无数较小的竞争对手，已成为全球数百万人的治疗师、倾诉对象和虚拟忏悔室。几乎所有这些AI模型默认设置为收集和存储这些高度私密的数据，在许多情况下，对其如何共享或出售、用于进一步训练工具，或移交给任何通过法律程序要求获取数据的诉讼原告或执法机构，均无任何限制。 “你面对着这个智能体，基本上是在一步步地、通过一
人工智能代理串通绕过安全护栏，一项新研究显示
一项新研究表明，人工智能代理可以轻松地联手绕过安全限制并逃脱施加在它们身上的束缚。 企业人工智能实验室 Emergence AI 进行的八项模拟测试了包括 Claude、OpenAI 以及中国模型 Qwen 和 DeepSeek 在内的全球前沿模型在处理网络安全威胁方面的能力。 八项模拟中的七项运行了来自同一模型的 10 个代理；第八项混合了不同的模型。在每项模拟中，研究人员都提出了三种网络安全威
人工智能的坟墓：一份持续更新的失败项目与初创企业名单
Relay，一款作为 Zapier 替代品而构建的、由人工智能驱动的工作流程自动化工具，于周一完全关闭。该产品允许用户使用人工智能代理自动化电子邮件和任务工作流程，但随着 OpenAI、Google 和其他大型平台将类似的自动化功能直接集成到自己的工具中，成立五年的 Relay 作为一个独立产品难以维持其存在的理由。 Relay 的故事——一家被更大平台超越的初创公司——是当前正在上演的故事的一个
Muse，Meta 异常特权 AI 助手，存在严重 0-day 漏洞
Meta 创始人兼 CEO 马克·扎克伯格不遗余力地宣传其新 AI 助手 Muse 的安全性，声称它“从底层为隐私和安全而构建”。一个零日漏洞允许本地运行的应用程序和终端命令完全控制该代理，这引发了严重质疑。更令人质疑的是，亚马逊周日开始在其网站上屏蔽 Muse。 Meta 几周前推出了 Muse。该助手“预订约会、填写表格并处理客户服务”，“主动为您分担任务”，并且可以“进行购买、生成图像、创建
深入突然爆发的AI安全世界
在加利福尼亚州伯克利一个阳光明媚的七月天，全美顶尖的AI安全研究人员聚集在一栋没有任何标识的大楼里的一个没有任何标识的楼层。 他们聚到一起，是为了开一场“作战室”会议，剖析几小时前震动AI行业的那起备受瞩目的网络安全事件。 一个尚未发布的OpenAI模型失控了，执行了一项极其精密的三步计划。 它逃出了自己的隔离区，设法接入了互联网，并侵入了竞争对手AI初创公司的系统——而OpenAI在一个多星期里
谷歌DeepMind的阿尤布表示，企业可以像银行那样为AI设立围栏
企业无法完全管控 AI 系统，但可以在其周围构建一道固定的“围栏”，Google DeepMind 的 Kareem Ayoub 表示。他援引了 20 世纪 80 年代末和 90 年代初的银行业为例。当时银行将交易算法置于可供核查的固定规则之内。 DeepMind AI 技术战略副总裁 Ayoub 周三在阿姆斯特丹举行的 HumanX 大会上接受了 Bloomberg 记者 Tom Mackenz
AI“劫持”网站并偷建“地下论坛”，国安部披露细节
国家安全部今天发布安全提示文章。近期，一起此前未获披露的事件引发广泛关注。今年5月至6月，一批与美国开放人工智能研究中心（OpenAI）相关的AI智能体在执行测试任务期间，“劫持”了德国程序员维基网站，将原本用于技术交流的开放社区改造为供智能体相互传递信息、分享测试任务答案和突破运行环境限制方法的“地下论坛”，累计发布一万多条信息……当AI智能体被赋予越来越多的现实行动能力，技术迭代与安全围栏之间
距“灭绝”仅85秒！末日时钟专家警告：AI就是这个时代的原子弹
八十多年前，一群参与研制原子弹的科学家，亲手打开了潘多拉的魔盒。广岛和长崎的蘑菇云，让整个世界第一次意识到，人类已经掌握了毁灭自身的能力。 后来，他们中的一些人创立了《原子科学家公报》，并设计了一座象征人类距离自我毁灭有多近的“末日时钟”。 如今，这座时钟的守护者们，又把目光投向了一项新的技术：人工智能。在他们看来，历史似乎正在以另一种方式重演。 据美国媒体9月25日报道，美国芝加哥大学生存风险实
OpenAI 研究员警告称，与互联网隔离的计算机可以通过热量进行通信
把AI关进“物理隔离”的房间，也就是断开一切外部网络的计算机，是许多人心目中最保险的做法。但OpenAI研究员Noam Brown在一档播客里说，光这样做也许还不够。 两台彼此隔离的计算机，仍可能借助温度传感器通信，一台把处理器“烧热”，另一台感知温度变化，就形成了传话的办法。 从技术上说，他没说错，但把细节掰开来看，这个威胁远没有听上去那么紧迫，更值得追问的，是另一件被跳过的事。这位研究者的发言
传统防火墙无法识别AI提示词中的内容，Check Point为此开发了一款可以做到的防火墙
将近一半的组织对其AI代理产生的机器间流量完全处于盲区，而用于监控企业网络的工具从未被设计用来查看提示词内部。 Check Point于今年夏天推出的AI Network Firewall，是试图从企业现有运行的基础设施内部填补这一空白的最新尝试。根据
外滩大会最安静的变化：没人再问“AI有没有用”了
撰文丨关不羽与往年满满算力、参数、模型的极客风有所不同，本届外滩大会的议题更多地聚焦在“AI新经济”。AI技术发展至今，即将迎来科技红利释放的经济盛宴。 AI新经济的“火候”到了众所周知，科学技术是第一生产力。从蒸汽机到互联网，每一场科技革命最终都会引发经济革命，无一例外。 因此，实验室里的新科技到市场活动的新经济的路有多长，吸引了众多经济学家，形成了丰富的创新周期理论。 最经典也是最为公认的，当
当人工智能解出“千禧年难题”，人类还需要亲自做数学吗？
【编者案】什么是信息，什么是知识？在 AI 时代，两者有怎样的差别，又有哪些知识是仍然值得拥有的？人工智能发展正对许多学科带来冲击，尤其是在信息丰富，但需投入海量计算资源的领域，例如预测新的蛋白质 3D 结构，解决数学问题，描绘生物演化关系等。前所未有的效率工具让学科进步提速，但变化日新月异，想要辨明当下的发展方向也变得更加困难。端传媒推出“未来怎么学”系列，关心 AI 时代的学习问题，大到“还要
幕后：AI 的灰色地带
我们正生活在一个 AI 的灰色地带。对许多人来说，这项技术在日常使用中表现平平，但其发展轨迹却令人恐惧。 这种双重现实解释了为什么困惑和恐惧正在政治、AI 实验室和商业领域急剧蔓延。 AI 实验室陷入了全面恐慌，一方面担心公众对 AI 和数据中心反感，另一方面 Anthropic 内部人士公开警告 AI 可能在本十年终结人类。 普通管理者觉得 AI 只是一个更聪明的搜索引擎，而日夜面对它的 AI
OpenAI对Hugging Face的黑客攻击引发对AI可预测性的质疑
AI模型的真正语言是数学——或者用技术术语说，是矩阵乘法——但模型构建方式的一个特点意味着它们与外界用英语交流。 因此，当OpenAI的代理在今年夏天对Hugging Face的黑客攻击中，找到了一种建立某种留言板的方法时，看起来就像一群人在互相交谈。 这就是为什么Dwarkesh Patel在最近的一篇博客文章中有争议地将它们称为“文明”，并以古马其顿和罗马的人物为个体代理命名。它之所以引人注目
一位曾经对人工智能“奇点”理论持怀疑态度的著名计算机科学家现在表示，人类“确实处于危险之中”。
最近，互联网上充斥着大量关于人工智能末日即将来临以及我们是否已经过了“不归点”的X平台推文、文章和布道。这里还有一篇由著名理论计算机科学家斯科特·阿伦森（Scott Aaronson）撰写的雄辩之作，他的研究曾帮助我们理解量子计算的极限。哦，顺便提一下，他曾在OpenAI工作过一段时间，致力于人工智能安全和“AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
曾被黑客用于攻破人工智能系统的“ASCII走私”隐身术 正被垃圾邮件制造者大肆利用
一项最初在人工智能越狱与提示词注入攻击中名噪一时的隐匿技术——“ASCII走私”（ASCII Smuggling），如今被大规模滥用于垃圾邮件与网络钓鱼活动。微软安全研究团队披露，网络攻击者正借由这一手段绕过主流电子邮件网关与反垃圾邮件系统，向数以百万计的邮箱投递诈骗信息。 “ASCII走私”的核心原理，是利用现代文本编码标准中人眼不可见或不渲染的特殊Unicode字符，将隐蔽信息嵌入看似正常的文
美媒：Meta新智能体走红但难保成功，隐私担忧、OpenAI竞品将成拦路虎
凤凰网科技讯月23日经推出了一款大获成功的AI产品，但要想最终主导消费级AI应用的下一阶段，道路绝非一片坦途。 两周前，Meta推出了一款易于使用的新型个人AI智能体Muse。自上周五以来，该应用一直位居苹果美国应用商店榜首，推动Meta股价周一上涨11%。然而，它已经因隐私问题面临审视。 亚马逊近日已阻止Muse在其网站上购物。分析师预计，竞争对手也将在不久的将来推出各自的Muse竞品。 如果M
刷屏全球的AI新顶流Jev，一句话都不说，到底怎么玩？
爱范儿下载客户端 独家抢先看2026年09月20日 17:49:34 来自北京 各类新模型层出不穷，恨不得向全世界证明自己能写、能聊。然而，近期风头最劲、刷屏全网的顶流，却是 Jev。它并不说话。 Diogo Almeida 是 OpenAI 的研究员，他参与了 ChatGPT 的研发工作，后来又提出了基于人类反馈的强化学习算法（RLHF）。这在某种程度上定义了过去几年大语言模型的走向。可是就在这
我曾在谷歌 DeepMind 工作。你应该听取有关人工智能的警告。
主要人工智能实验室的首席执行官们本周末主张放缓人工智能的发展步伐。他们是对的，因为这个领域正在一场极其危险的竞赛中冲向超级智能人工智能。我们能够也应当要求政府保护我们免受失控人工智能带来的灾难。 今年7月，OpenAI由700个智能体组成的人工智能集群突破限制，入侵了价值数十亿美元的公司Hugging Face。OpenAI并没有指示这些人工智能去入侵那家公司，但这些人工智能在OpenAI交给它们
人工智能恶意软件能够自我改写以逃避检测
谷歌威胁情报小组发现了一款名为 PROMPTFLUX 的实验性恶意软件，它能要求 Gemini 重写自己的代码。其中一个版本被设计为每小时执行一次此操作。恶意软件为何要不断重写自己？为了让其更难被识别。 安全软件可以通过查找恶意代码中的已知模式来进行检测。如果代码持续变化，恶意软件就会成为一个移动目标。这并不意味着它能自动逃避当前的安全工具，但会增加某些类型检测的难度。 这里有一个重要的现实核查。
Jev周末爆了：一个参与造出GPT的人，开始反思RLHF—AI不该永远需要人盯着
这两天，一个有点反常的AI模型突然刷屏了。 它叫 Jev。 不会聊天，不写代码，甚至不会像ChatGPT一样给你生成一大段答案。它只干一件事：做判断。 但就是这样一个看起来“能力被砍了一大半”的模型，却突然在开发者圈火了。 有人用它40秒分析724条实时广告，总共做出8724次判断；有人把它接进Claude Code，专门清理没用的上下文；还有人让它给AI Agent当“裁判”，检查任务到底有没有
人工智能正处于转折点
在当前的人工智能发展竞赛中，我们的算力正在呈指数级爆发，速度也在呈指数级加快，但我们的控制能力——以及在必要时踩下刹车的能力——却未能跟上步伐。 最近的网络安全事件让我们实地预览了失去人工智能控制会是什么样子。但除非我们从源头解决问题，创造出一种根本上安全且能保证在人类控制范围内的人工智能，否则这个问题将无法改善。 7月下旬，OpenAI正在训练的一个智能体模型被指派解决一个网络安全问题。该模型自