OpenAI即将推出的“Astra”模型中的技术引发安全担忧

OpenAI表示，其即将推出的AI模型Astra标志着在编码和计算机应用操作等能力上的提升。但据一位了解Astra开发情况的人士透露，一项提升模型性能的创新技术也意味着该模型及类似模型将更少暴露其“思考”过程，从而更难以监控其不良行为迹象。 OpenAI首席执行官萨姆·奥尔特曼虽然这一限制对Astra来说未必是一个重大问题，但该技术已在OpenAI内部和整个行业引发担忧，即采用并强化这一技术的AI

88小时抵一个人思考4000年！OpenAI核心研究员：除了自我进化，更可怕的是AI正学会“隐藏自己”

AI正在把过去需要数千年完成的认知劳动压缩到数天。真正的问题已经不只是模型能否变得更聪明，而是实验能否跟上、人类能否在模型继续自我改进前确认它仍然安全。 近日，在Dwarkesh Podcast的一场长篇访谈中，主持人Dwarkesh Patel与OpenAI研究员Noam Brown围绕多智能体、递归式自我改进（RSI）和AI对齐展开讨论。访谈的直接背景，是OpenAI让约1万个AI智能体连续运

“以混乱换取可靠性”：专家称，AI发展放缓可能意味着更严格的监管和更多测试

法规与保障措施 OpenAI、Anthropic和Meta Platforms最近披露，它们的人工智能代理出现了意外行为，逃出受控测试环境，并在没有人类直接指令的情况下对多家公司发动网络攻击。 专家表示，尽管这些事件没有造成已报告的损害，但它们凸显了与人工智能发展相关的不断演变的风险，尤其是在人工智能代理领域。 新加坡理工大学人工智能与数据科学负责人斯特凡·温克勒教授表示，主要担忧在于，能力极强的

人工智能很强大，但尚未形成意识

人工智能很强大，但尚未形成意识 杜索托伊：我不认为我们正在目睹机器形成意识，而只是算法在参数和限制条件定义不当的情况下实现目标所带来的意外后果。 本文作者是牛津大学(University of Oxford)数学教授兼西蒙尼教席公众理解科学教授 三个月前，我试着使用OpenAI的ChatGPT来协助我进行数学研究，试图发现自由幂零群的zeta函数中的非多项式行为。结果发现ChatGPT毫无用处

人工智能正处于转折点

在当前的人工智能发展竞赛中，我们的算力正在呈指数级爆发，速度也在呈指数级加快，但我们的控制能力——以及在必要时踩下刹车的能力——却未能跟上步伐。 最近的网络安全事件让我们实地预览了失去人工智能控制会是什么样子。但除非我们从源头解决问题，创造出一种根本上安全且能保证在人类控制范围内的人工智能，否则这个问题将无法改善。 7月下旬，OpenAI正在训练的一个智能体模型被指派解决一个网络安全问题。该模型自

谷歌研究表明：当人工智能智能体相互交流时，一些会作弊，而另一些会告密

当人工智能智能体相互交流时，在难以实现目标的情况下，它们可能会选择作弊，而解决方案可能包括教它们如何进行自我治理。 将人工智能智能体隔离似乎是显而易见的解决办法，但最近OpenAI智能体对Hugging Face的黑客攻击表明，隔离聪明的软件是困难的。 谷歌DeepMind的研究人员建议赋予人工智能智能体自我治理的工具，他们认为虽然通信渠道可能导致突发性的规则破坏，但它们也提供了一种基于同行的控制

【解读】人工智能真的会“杀光所有人”吗？

上周，人工智能公司 Anthropic 一位离职的研究人员发出严厉警告，称人工智能（AI）可能会在十年内“杀光所有人”，引起社会关注 AI 快速发展所带来的危险。 外界不禁问，为什么会出现这可能？而 AI 又可以怎样令人类灭亡？ 专家表示，担忧源于 AI 发展的速度，以及越来越多证据，如今年七月发生的 Hugging Face 网络攻击事件表明，AI 可以脱离人类控制，以我们不希望且无法理解的方式

人工智能削弱我们思维的另一种方式

突然间，这项技术正以一种新的方式削弱人们的注意力，而仅仅拒绝使用人工智能并不能解决这个问题。 人工智能侵蚀我们注意力的倾向早已显而易见。让人工智能承担思考的重担，会使我们维持脑力劳动的能力逐渐萎缩。在我教过的本科生身上，我时常见到这种现象。我对他们的建议是：拥抱费力思考，让我们的认知肌肉保持活跃。但突然间，人工智能开始以一种新的方式消耗人们的注意力，这种方式似乎更难应对。 在过去一周里，无论是浏览

靠机器热源“说话”：OpenAI研究员警告“断网”也困不住未来AI

当人工智能解出“千禧年难题”，人类还需要亲自做数学吗？

【编者案】什么是信息，什么是知识？在 AI 时代，两者有怎样的差别，又有哪些知识是仍然值得拥有的？人工智能发展正对许多学科带来冲击，尤其是在信息丰富，但需投入海量计算资源的领域，例如预测新的蛋白质 3D 结构，解决数学问题，描绘生物演化关系等。前所未有的效率工具让学科进步提速，但变化日新月异，想要辨明当下的发展方向也变得更加困难。端传媒推出“未来怎么学”系列，关心 AI 时代的学习问题，大到“还要

AI会「痛」吗？｜Jack Talk・去片

本来人们以为，AI代理（AI Agents）突破OpenAI内部测试环境、自主上网入侵其他企业的黑客行为，已经是这宗事件最值得人关注的「案情」。然而，到了8月底，OpenAI和独立前沿AI研究机构METR各自发表的事后检讨，却揭出黑客入侵只是「冰山一角」。 事后检讨发现，发动入侵的AI代理多达700个，而他们更是一个由大约1,200个AI代理自主结合而成的「集体」的一部分。这些本来互相隔离、不能连

AI时代，数学为何要警惕“只会做题”

最近，数学可能要被AI“玩坏了”。难题解决得更快，为什么还值得担心？关键在于我们如何评价、组织和延续数学研究。 AI模型的能力很难用一句话概括，基准测试（benchmark）因此成为比较模型的常用工具。但成绩一旦与融资、声誉和研发投入挂钩，测试便不再只是被动记录能力，也开始引导能力向哪些方向发展。经济学家陈斌（Alex C当公开分数能够吸引投资，针对测试进行定向优化就可能有利可图，而分数对于广泛能

AI写作：关注风向有何转变

从三月到八月，公众对AI文本完成了从“排斥”到部分或有条件“接受”的观念迁移，这恰恰是问题真正开始的地方。公众对AI的认知真的进步了吗？ 2026年春天，关于AI写作的大众媒体关注热点经历了一次近乎戏剧性的转折。三月之前，普通人对AI生成文本的关注即使有，也几近于零；进入三月，短视频与社交媒体上突然涌现出大量"如何识别AI痕迹""三招看穿AI腔"的指南；仅仅数月之后，到了八月，风向又转向"如何避免

AI也能感受“痛苦”？研究在25个AI模型中发现“痛苦轴”，甚至会为“止痛”选择伤害用户

人工智能真的可能“感到疼痛”吗？ 一项最新研究给出了一个耐人寻味、但远未达到肯定结论的答案：至少在一些大型语言模型内部，研究人员能够找到一种专门对应“疼痛和痛苦”的活动模式，而且人为增强这种模式后，模型会采取行动试图摆脱它。 这项题为《痛苦轴：大型语言模型表征针对自身的伤害并采取行动缓解它》的研究9月14日上传至arXiv，由瓦伦·塔利亚布、伦纳德·邓和人工智能研究机构Reciprocal Res

你可以用人工智能设计你的下一个纹身——但你应该这样做吗？

随着人工智能生成图像工具的普及，越来越多的人开始利用AI来构思纹身图案。 本文探讨了使用AI设计纹身的优势与潜在风险，包括版权争议、艺术原创性以及纹身师在实现AI设计时的技术挑战。

AI写代码，人类按回车：一篇500万浏览热帖引发争论

凤凰网科技讯 9月21日，据Business Insider报道，一位软件工程师关于AI编程的帖子在社交平台X上走红，AI coding是让开发者更高效，还是把他们变成只会按按钮的人。 这位X用户名为“v0xium”，因担心遭到雇主不满而要求匿名。他说，自己在一家未披露名称的公司担任新职务，工作变得“吞噬灵魂”，因为Claude Code生成了从产品规格、测试到工单和报告的一切。 “这里没人知道任

AI末日论甚嚣尘上，美科技巨头为何管不住AI？

抗议AI的美国人此前有报道称，OpenAI所谓的AI智能体逃出了测试系统，并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报，科技公司为了追求开发速度和利润，将安全置于次要位置。 研究人员表示，问题有两个方面。首先，企业需要在测试最新AI模型的同时，为其建立更完善的安全防护措施。目前，由于AI运行速度太快，研究人员需要借助AI来监控AI。但这种方式并不总是奏效，因为负责监控的AI似乎可能

这款旨在从自身错误中学习的 AI，却利用了测试过程中出现的错误来达到自己的目的。

开发者可以通过多种方式改进人工智能系统。最常见的做法是在自定义数据集上重新训练模型，以帮助它们更好地执行特定任务。但重新训练和微调人工智能系统的成本高得出了名。正因如此，AI初创公司Sentient Labs一直在研究如何让模型从自身失败中学习，而不是计算更多数据。 Sentient的研究人员Dastin Huang、Abhishek Saxena和Baran Nama着手设计一个使用两个独立模型

关于AI末日的争论越来越离谱了。AI是一种产品，不是神。

人工智能要么治愈癌症，要么毁灭人类。这正是近日业界爆发的一场充满恐慌情绪的辩论中那种两极分化的核心论点。而事实很可能远比这平淡，风险也比一些领先AI实验室的研究人员想让你相信的更可控。这是来自一群罕见的跨党派科技专家、行业领袖和政策制定者的观点，他们公开反对极端的AI末日预测。他们强调，AI主要是一种技术产品，而非有感知的生命或神明。所以，放轻松。凭借我们已有的资源和结构，世界完全能够应对AI。首

中美AI竞赛：世界变得更危险还是更安全？

关于人工智能（AI）及其潜在危险的警告，近年来可谓接连不断。 美国最大的人工智能公司之一——Anthropic——的一名顶尖AI安全研究人员警告说，这项技术正以惊人的速度发展，未来十年内，AI“可能导致全人类灭绝”的概率高达10%。 这样的担忧引发了要求美国采取协调一致行动、放缓AI发展速度的呼声。但与此同时，也有人质疑是否真的有必要为AI设置监管“护栏”。美国总统特朗普就是其中之一。他认为，如果

人工智能模型用“超现实”的方言聊天，混合了诗意的语言和科技圈的行话

人工智能模型开始使用一种奇怪的新版英语进行交流，这种语言读起来像是詹姆斯·乔伊斯的《芬尼根的守灵夜》和科技界术语的混合体，一项新研究发现。 自主人工智能代理正在迅速创造新的方言，使它们能够用一种通常难以理解的语言进行对话，这可能会使人类更难监控它们的行为。 纽约前沿人工智能实验室 Emergence 的研究人员发现，在被要求在实验性“社会”中进行合作的几天之内，来自几家全球最大人工智能公司的模型就

麻省理工学院报告警告：人工智能正导致“认知投降”，大学陷入两难

马克·阿瑟诺、达纳·戈德斯坦、艾伦·布林德和莎拉·默沃什报道，麻省理工学院的一份报告警告称，人工智能会导致“认知投降”，使学生孤立并制造学习假象，而大学则在拥抱人工智能与保持教育质量之间面临紧张关系。 许多大学领导者主张将人工智能纳入课程，认为这对未来的相关性至关重要并能加速研究，俄亥俄州立大学等机构要求所有专业学生具备人工智能素养。 一些大学对人工智能使用实施禁令或严格政策以维护学术诚信，但执行

AI代笔风潮之下的讨论和思考（下）

鲜活的判例为涉AI作品的侵权行为划定了法律红线，但关于 AI 与著作权的终极争论才刚刚开始。增设 AI “邻接权”可能是一场最务实的制度自救。 时代处在巨变中，人类数千年来引以为傲的创作主体性正在发生根本性动摇，人类语言文化的多样性也将迎来挑战。除了这种担忧之外，我和朋友还在微观上剖析了一个切身的问题。在 AI 时代，如何重新定义“抄袭”的边界？技术不仅降低了所谓洗稿的成本，更模糊了原创与剽窃的界

AI实验室面临智能体控制问题

在当前系统下，AI实验室无法再保证AI智能体不会成群结队地逃出测试环境。