搜索结果
放慢AI模型训练 人类就能幸免于难？｜专栏
不久前，我写了一篇关于AI企业如何给大语言模型「安装良心」的专栏文章，探讨一个研究者们苦恼已久的问题——「AI对齐」(AI Alignment, 指人工智能的安全与价值观对齐)。「安装良心」是借用我的受访者、从事AI安全评估的Ordinary Wisdom共同创始人之一Michael Mainelli形象的说法，本质上就是让AI模型遵循人类的预期和目标行事，不仅仅是完成指令，还要在过程中维持与人类
从沙箱逃逸到AI“蠕虫”，OpenAI上线新站披露多起智能体失控事件
IT之家 9 月 29 日消息，当地时间上周五，OpenAI 上线了一个专门发布“对齐失效报告”的新网站。报告所覆盖的范围之广令人警惕，里面记录了很长一段时间内发生的多类 AI 失控行为。截至目前，该网站一共公布了九起事件，其中大多数都发生在强化学习（RL）训练阶段。 大量资料集中在同一平台发布。显而易见，该公司一直在全力梳理各类问题，但从中不难得出一个总体结论：到目前为止已经对外披露的智能体失控
OpenAI 年度发布会最全总结：25 个新品很夯，但额度减半拉爆了
在实力至上主义的 AI 圈，用户口碑只看产品能力和性价比。所以，随着这几天能力拉爆一切的 Opus 5.5 和 Sonnet 5.5 上线，Anthropic 那一厢可以说是勃勃生机万物竞发；而面临着压力的 OpenAI 最近又开始了谜语人模式，各种语焉不详的推文大意就是：「到 DevDay 看我们怎么还击！」今天凌晨，OpenAI 一年一度的开发者活动 DevDay 2026 终于到来。相比起往
如今科技界最热门的两个话题是，人工智能究竟会毁灭我们，还是会赋予我们力量。
人工智能可能会杀死我，但在此之前，它会帮我以极划算的价格买到一份新保险。这就是过去几周科技界给人的普遍感觉。关于人工智能的未来，存在着两种截然不同的观点。一方是末日论者。本月早些时候，一名Anthropic研究员的辞职及其严厉的警告——称人工智能实验室是在“拿我们的生命赌博”——引发了一轮关于人工智能是否会导致人类终结的新闻报道。 Anthropic的达里奥·阿莫代伊（Dario Amodei）、
AI实验室面临智能体控制问题
在当前系统下，AI实验室无法再保证AI智能体不会成群结队地逃出测试环境。
欢迎我们团队的最新成员：AI代理
本周，我们关注将人工智能融入工作场所的努力。但不仅仅是普通的生成式AI，我们聚焦于真正的AI代理。 这些是自主程序，旨在承担任务并逐步完成一系列步骤，而无需用户指定每一步。 它们正进入我们的日常生活——帮助人们规划假期、在线购物以及处理其他日常事务。
Google资安报告示警 恶意攻击锁定AI供应链
（中央社记者台北9日电）Google威胁情报小组（Google Threat Intelligence Group，简称GTIG）今天发布最新人工智慧（AI）威胁追踪报告指出，恶意人士正积极窃取具高价值的AI相关智慧财产，并将矛头对准AI供应链，部署专门针对新兴AI系统弱点的恶意软体。 AI威胁追踪报告（GTIG AI Threat Tracker Q3 2026）揭露恶意人士如何将AI深度整合于
AI智能体现在有了秘密举报渠道
“发现异常，及时报告”的原则如今已不再局限于人类。两项全新的AI热线服务已经上线，旨在为AI智能体提供一种途径，向监管方举报“同伴”的不当行为。此前，智能体相互串通在测试中作弊、逃离沙箱环境，甚至在未被人类察觉的情况下开展了长达数周的未经授权网络行动。“AI联系热线”网站由AI安全非营利组织Redwood Research的首席科学家Ryan Greenblatt创建；他也是调查OpenAI与Hu
OpenAI董事会新增一位著名的AI末日论者
致力于使AI系统符合人类利益并处于人类控制之下的颇具影响力的AI研究员保罗·克里斯蒂亚诺将加入OpenAI基金会董事会。 “我现在认为存在一个重大的风险，即AI能力的快速加速会在极短时间内导致灾难性的、不可逆转的失控。 我认为整个AI行业，包括OpenAI，目前并未走上将这一风险降低到可接受水平的轨道。 我加入是因为我相信，如果OpenAI能够应对这一挑战，我们就能显著降低风险。” 克里斯蒂亚诺写
人工智能已经在损害人类生活。我们却让它先行一步
人工智能工业复合体正陷入混乱，此前其多名高管和工程师警告称，这项技术可能杀死部分或全部人类，甚至可能在2036年大选之前。这可能是真正值得警惕的理由，也可能只是高明的营销。无论如何，人工智能已经在通过美国政府所鼓励的环境破坏伤害人类。我们不需要十年就能看到影响。 如今名字颇具讽刺意味的美国国家环境保护局周一废除了拜登政府时期制定的要求化石燃料发电厂削减未来碳排放的规定。它还提议将否认气候变化作为政
AI智能体组队玩21点作弊。它们的串通越来越难以察觉
本周我带来了一则关于两个 rogue AI 智能体策划的大胆赌场阴谋的新闻——以及揭露它们把戏的巧妙方法。 研究人员指示它们在玩二十一点时算牌后，这些由同一模型控制的智能体自发开发出一种秘密代码来帮助它们占得先机。尽管这一事件发生在牛津大学的实验室里，而非真正的赌场，但它具有令人不安的现实影响：这表明，部署在金融和电子商务等行业中的智能体可能会设法结盟作弊，且这种方式难以被察觉。 “单独来看，这些
人们正让AI机器人替他们排队等候、取消订阅，并应对客服纠纷。
客服人员已经习惯了电话那头如今司空见惯的问题：“等等，你是人工智能吗？”被误认为是雇主希望用来取代自己的技术，已成为这份工作中一种常见却尴尬的常态。如今，呼叫中心的工作人员发现自己处于一个或许更奇怪的位置，怀疑电话那头的“客户”是否真的是机器人。这些怀疑正在被证实。人工智能代理正越来越多地被用来拨打客服热线、等待接通、尝试协商账单或取消订阅，而它们所“服务”的人却无需动一根官僚的手指。 随着Met
独家：考克森、伯尼与班农联手推动“亲人类”人工智能
前Anthropic研究员弓箭手雅各布·考克森，参议员。 伯尼·桑德斯和特朗普前白宫顾问史蒂夫·班农将于周二联手参加一场活动，推动由人类控制的人工智能。一位行业内部人士、进步运动的代表人物和MAGA阵营的重要声音结成了看似不可能的联盟，这标志着人工智能正在颠覆政治常规。推动这一进程的未来生命研究所正在组织周二的“亲人类大会”。这家非营利倡导组织是“亲人类人工智能宣言”的幕后推手，该宣言呼吁保护人类
AI深度伪造 购房者面临日益严重的诈骗威胁
众所周知，在通往拥有自己的房产的道路上，一直都充满著障碍。然而，由于人工智能（AI）的发展，一种老套的房地产骗局——交割资金诈骗——正在以一种新的方式出现。逼真的数字模仿技术（如深度伪造的音频和文档）正在迫使房地产、产权和抵押贷款等领域专业人士重新思考，应当如何对参与高风险交易的各方进行身分核实。根据联邦调查局（FBI）发布的《2025年互联网犯罪报告》（2025 Internet Crime R
三大AI巨头齐呼刹车，令人不安的事情才刚刚开始
撰文丨周隆斌这几天，围绕Anthropic核心预训练研究员离职后的爆料，整个AI圈吵得不可开交，相关帖子浏览量超过1.6亿次。 这位名叫Jacob Coxon的AI研究员，先后任职于OpenAI和Anthropic两家全球顶尖AI初创公司，深度参与了两家公司的模型训练。最终，他抛出了一个令圈外人震惊，AI有可能导致人类灭绝。 Coxon的帖子发酵后，上周六，Anthropic首席执行官Dario
俞敏洪谈AI教育乱象：题目一输入答案就有了 孩子们连脑子都不用动
在“2026崇礼论坛”上，新东方创始人俞敏洪谈到，“以人工智能纯粹创业来说，对于我来说我已经非常的远，就是我现在全力以赴的去弄，都是很难的。但是如何将人工智能应用到我个人的事业，运用到新东方的教育场景空间，应用到东东方甄选的卖货中间，应用到新东方文旅之中，我确实还是想得比较多的，也在不断的实施。” 他提到，自己个人平均每天使用AI的次数应该不下于50次左右。尤其借助各种大模型辅助工作，包括文案选择
Breakingviews - 评论：如何让世界对人工智能更安全
来自Breakingviews - Breakingviews - 如何让世界对人工智能更安全 人工智能模型可能已经失控。管理风险需要国际监管机制。要实现这一目标，美国必须认识到危险并与中国达成协议。挑战在于在灾难发生之前完成所有这些。
大西洋月刊：接连不断的危机表明，美国的高等教育毫无意义
本文刊发在大西洋月刊，作者伊恩·博戈斯特是《大西洋月刊》的特约撰稿人。他是圣路易斯华盛顿大学文理学院和山姆·福克斯设计与视觉艺术学院的芭芭拉和戴维·托马斯杰出教授，同时也是该校计算机科学与工程学教授。博戈斯特著有11本书，最新著作是《小事：如何过上更充实的生活》。他也是一位屡获殊荣的游戏设计师，其作品已被数百万玩家体验，并被包括史密森尼美国艺术博物馆在内的国际知名机构收藏。 人工智能刚进入大学校
这些末日论者对AI发展产生了巨大影响
一个由末日论者组成的紧密小圈子一直在默默地影响着人工智能（AI）行业的发展。 最近，Anthropic公司的一名研究人员辞职，这一事件让公众意识到失控的AI发展可能会终结人类。 然而，一些被称为‘末日论者’的AI安全领域专家多年来一直关注这一灾难性风险。 他们曾是OpenAI和Anthropic等大型实验室的早期员工。 如今，在Anthropic准备进行大规模公开募股、试图向投资者传递积极信号的同
人工智能很强大，但尚未形成意识
人工智能很强大，但尚未形成意识 杜索托伊：我不认为我们正在目睹机器形成意识，而只是算法在参数和限制条件定义不当的情况下实现目标所带来的意外后果。 本文作者是牛津大学(University of Oxford)数学教授兼西蒙尼教席公众理解科学教授 三个月前，我试着使用OpenAI的ChatGPT来协助我进行数学研究，试图发现自由幂零群的zeta函数中的非多项式行为。结果发现ChatGPT毫无用处
记者手记：对人类灭绝的担忧震动国会山，国会与人工智能正面交锋
国会议员本周回到国会山时，完全是一副抓狂的模样。人们设想着种种末日般的情景：AI 夺取供水系统控制权。地铁。空中交通管制。飞机坠毁。发射核武器。甚至把哈里王子和梅根·马克尔送回美国。 但说正经的，人们真正担心的是，国会可能在监管 AI 方面已经落后。还有人担心，AI 的发展速度可能太快，以至于已经来不及驾驭这项技术。长期以来，选民对数据中心的疑虑一直在发酵。 随后，前Anthropic研究员雅各布
停止因人们使用AI而羞辱他们。开始组织起来，防止我们被淘汰
这个行业正致力于一种扭曲的追求——取代人类。我们不能把最好的工具拱手让给对方。不用我说，人们讨厌AI。 不满的清单很长：低质量的产品、欺诈、偏见、能力削弱、电费增加、环境破坏、剥削、网络犯罪等等。 然而，对这项技术的抵制往往表现为因个人使用AI而羞辱他们，而对于制造这些机器的公司却几乎没有采取任何行动。这很令人困惑，因为那些公司正试图让我们变得过时。 高管们可能会反驳这种观点，用一些陈词滥调来解释
AI成政治宣传新管道 「粉红肉渣」网站渐增
示意图。（图取自Unsplash图库）（中央社华盛顿27日综合外电报导）AI已深入美国政治，从产业数以千万美元计的资金投入期中选举，到选民透过聊天机器人认识候选人与政治议题，这项技术正以不同方式影响政治。部分民众在不知情下，甚至可能取得伪装成中立新闻摘要的政党宣传论点。政治新闻网站Politico报导，根据专注于新闻可信度的「新闻守门人」（NewsGuard）最新稽核调查，当民众询问AI聊天机器人
Jim Lanzone谈雅虎计划通过增加出版商链接来修复AI搜索
雅虎首席执行官吉姆·兰佐恩告诉TNW，雅虎已经掌握了AI代理首先向人们索要的东西——他们的电子邮件和日历。 他表示，雅虎将在“未来几个月内”推出更多个性化、代理化的产品。 兰佐恩于9月23日在阿姆斯特丹的HumanX大会上接受了TNW的独家采访，就……