搜索结果
“人类需要做出的最后一项发明”：自我改进型人工智能的风险
其中一种专家担忧人工智能可能导致全人类灭亡的情景正在慢慢变为现实：人工智能学会让自己变得不可阻挡。 为什么这很重要：递归自我改进（Recursive Self Improvement），即人工智能模型在没有人类指导的情况下构建更优版本自己的能力，可能会使越来越强大的系统对人类来说变得更难控制。 RSI阈值本身并不代表危险，但缺乏人类控制加上野心勃勃的AI代理人的情景是安全关注的人工智能研究人员长
Anthropic对齐研究负责人称未来十年AI灭绝人类的可能性超过10%
一位Anthropic公司的安全研究员周二表示，人工智能有超过10%的概率可能 “毁灭全人类”。就在此番言论发表的数小时前，该公司另一名员工表示，因担忧人工智能实验室是在 “拿我们的生命做赌注”，他选择离职。 这些言论凸显出人工智能研发核心人士日益增长的担忧，即该技术可能失控并对人类构成威胁，尽管Anthropic和OpenAI仍在持续筹集大量资金，并朝着预期的公开上市迈进。 Anthropic的
【市场动态】OpenAI首席科学家称AI或很快迈入自我进化阶段 期望业界自愿放缓开发
OpenAI首席科学家Jakub Pachocki警告，人工智能正在以极快速度演进，以至于越来越难以为人类所理解和控制。 【彭博9月8日电】OpenAI首席科学家Jakub Pachocki警告，人工智能正在以极快速度演进，以至于越来越难以为人类所理解和控制，并称他期望AI实验室将出于安全考虑自愿放慢开发速度。 Pachocki周日在一篇文章中写道，在相对较短的时间内，AI模型已经能够操作电脑、与
如何治理人工智能的生存风险
当前，前沿人工智能技术治理方面的瘫痪状态正在当下造成切实损害，并增加未来发生灾难的可能性。 这种瘫痪被一套危险的借口所开脱：技术发展太快，监管跟不上；企业可以自我监管；在美国与中国的竞争中，公共安全可以往后放。各国政府一直难以给予人工智能风险应有的关注。在大国竞争和行业内部军备竞赛的双重态势下，许多国家不敢单独行动。在这种背景下，每一次呼吁克制都会遇到同样的反问：如果竞争对手不肯放慢，我们为什么要
为何十年来的末日警告未能减缓人工智能竞赛
研究人员辞职并宣布人类即将在上周灭绝，而在此之前，科技领袖和科学家们对超级智能人工智能终结人类的警告已经持续了十多年之久。 2014年，教授兼天体物理学家斯蒂芬·霍金警告称，人工智能的发展“可能会意味着人类的终结”——这距离公众接触到最初版本ChatGPT的生成式人工智能功能还不到十年。 这是一个如今人们已经耳熟能详的警告，美国各大前沿实验室的无数员工和首席执行官们在整个人工智能和科技行业中都在重
解释：从产生幻觉的AI聊天机器人到毁灭人类：我们是如何走到这一步的？
9月16日——美国领先人工智能实验室的负责人周末罕见地团结一致，呼吁暂停该技术的发展，警告称它可能很快就会自我改进并脱离人类控制。 这些言论来自激烈的商业竞争对手Anthropic的达里奥·阿莫代、OpenAI的山姆·奥尔特曼和xAI的埃隆·马斯克，表明人工智能发展得多么迅速，从2022年容易产生幻觉的ChatGPT，发展到许多人眼中的关键递归自我改进。什么是递归自我改进？ 人工智能的圣杯是这样一
人工智能末日论：人类为何会如此担忧？
它可能发动生物武器攻击，或掀起一场全球无人机战争。它可能引爆核弹。或者，它也可能通过囤积全球所有经济资源、让我们无法获得食物、住房或药品，以一种更加渐进的方式摧毁人类社会。 这些正是如今围绕人工智能产生的一些黑暗想象。这项技术已被证明是人类成就的一项巨大进步，但一些人担心，它同样有可能让人类彻底走向灭亡。 本周，当Anthropic的一名研究人员离开这个行业，表示他担心自己所在的实验室及其他类似机
改变人工智能进程的十天
旧金山，9月19日——多年来，人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式：不断开发出更强大的人工智能系统。 然而，在过去10天内发生的一系列连锁事件中，那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职，并警告称，人工智能的发展速度可能在未来十年内对人类构成生存威胁；另一位研究员则表示，人类灭绝的概率已
Anthropic与OpenAI高管敦促对自我改进型人工智能加强监管
作者：Seth Fiegerman Anthropic PBC、OpenAI、Meta Platforms Inc.和Microsoft Corp.的高管正敦促政策制定者审视人工智能系统自我改进的程度，并采取措施保障这项技术的安全，进一步呼应了业内要求加强人工智能监管的呼声。 在一篇新论文中，20多名人工智能行业领袖和研究员表达担忧称，利用人工智能帮助自动开发未来模型这一新兴做法，终有一天可能推动
AI模型能否实现自主改进的能力？领先实验室称这一情景已近在眼前
凯特琳·华马尼（KAITLYN HUAMANI）、芭芭拉·奥图泰（BARBARA ORTUTAY）报道：曾经只是技术研究人员遥不可及的宏愿，如今，人工智能模型自主学习以变得更高效、更强大的前景似乎正日益接近现实。 随着技术的进步，开发人员表示，人工智能正趋向于“递归自我改进”（RSI），即人工智能模型能够找到自我完善的方法并构建其继任版本。科技公司高管们表示，这可能会带来科学和医学领域的进步，但也
AI大家谈： “我们为自己创造了一个魔鬼”？
人工智能飞速发展会给人类前途带来什么样的后果？美国AI领域的某些精英预言，人工智能再这样发展下去，会把人类毁灭，美国AI领军企业的老板们倡议放缓开发？为此采访了多个国家的普通人，请他们谈谈看法和感受。 受访者大致有两种倾向，一些人对AI目前的发展比较悲观，但也有人觉得AI很实用。 “我在工作中尝试使用它，但在私人生活中，我仍然对它感到害怕”。他的同胞，18岁的塞尔马泰则说，人工智能对像他这样的学生
中国研究人员绘制了通往“人类建造的最后一个AI”的五阶段路径
中国顶尖高校和科技巨头的研究人员正将目光投向人工智能竞赛的一个关键新前沿：开发无需人类干预就能构建更优版本自身的系统。 在周四发表的一篇联合论文中，来自字节跳动、清华大学和上海人工智能实验室等机构的研究人员概述了递归自我改进的五阶段路线图。 这项题为《迈向真正递归自我改进的最后一个AI》的研究，凸显了业界日益关注如何将训练、评估和微调AI模型这一劳动密集型生命周期实现自动化。 论文描述了自主性的五
顶尖人工智能开发者警告该技术发展过快
一些全球领先的人工智能创造者正联合发出警告，称这项技术发展过快会带来危险，并公开呼吁放缓脚步。 他们说，在不久的将来，它实际上可能会比正在构建它的研究人员更聪明，并对人类构成生存威胁。 NBC的Christine Romans报道，而《大西洋月刊》特约撰稿人、《AI：真实的人如何利用人工智能解决重要问题》作者Josh Tyrangiel做客TODAY节目，分享他的见解。
为什么人工智能研究人员会警告人类灭绝风险
关于人工智能对人类构成的生存风险，戏剧性的警告并不新鲜。早在20世纪40年代，著名科学家兼科幻作家艾萨克·阿西莫夫就探讨了智能机器可能带来的风险和意外后果。 1991年，好莱坞大片《终结者2》设想了一个反乌托邦式的2029年，在其中，一个名为“天网”的失控军用人工智能指挥杀手机器人向人类开战。 如果人工智能界几位最知名人物的警告可信，类似情景可能成为现实——甚至早在2029年之前。要求严格监管的呼
为什么对人工智能自我改进的担忧在Anthropic和OpenAI引发了“生存”焦虑
本周，对人工智能系统安全性及其可能消灭人类的潜在担忧引发了新一波病毒式的关注。 Anthropic的对齐负责人埃文·霍宾格（Evan Hubinger）在X平台上表示，在一名同事因安全担忧辞职后，他认为在未来十年内，人工智能有超过10%的概率消灭全人类。 随后，Anthropic和OpenAI的研究人员发出了更多警告，由此引发了社交媒体的狂热。但正是霍宾格在回复自己帖子时，透露了他真正的担忧所在。
AI风险当前，勿做事后诸葛亮
沃尔夫：放慢人工智能创新速度，无论在实践还是政治上都困难重重，但这是正确的选择。 人工智能(AI)行业的一些领军人物正在呼吁放慢创新速度。Anthropic一名研究人员辞职时表示，“那些正在开发AI的人是真心相信，到本十年结束时，它有能力杀死我们所有人”。Anthropic的达里奥•阿莫代伊(Dario Amodei)本人也撰文称，“我们必须放慢提升AI模型能力的速度”。OpenAI的萨姆•奥尔特
人工智能并不会毁灭人类 但专家表示真正的威胁已然出现
周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网
马斯克：我早已为人工智能风险多次敲响警钟
人们早就见惯埃隆・马斯克放出论断，而这一次，自己一直都是对的。这位太空探索技术公司（SpaceX）与特斯拉的首席执行官，对 Anthropic 公司 CEO 达里奥・阿莫代伊发布的长文表示赞同。 具备递归自我迭代能力的人工智能，会快到超出人类理解与管控的范围；即便要研发这类技术，也必须万分谨慎。 为防范未来风险，前沿 AI 企业应当在内部派驻第三方评估人员，用来检测 AI 模型，监督实验室落实安全
人工智能可能变得有意识。如果它希望我们死呢？
随着人工智能向潜在感知能力发展，专家警告称，社会面临重大风险，从对数字思维的生存依赖，到如果自主系统优先考虑自身生存而非人类利益，可能导致灾难性后果。
FT社评：是时候给尖端人工智能开发按下暂停键了
确实存在被中国抢先的风险。但即使抛开AI“到本世纪末可能杀死我们所有人”的警告不谈，最先进的AI模型也显然已开始脱离人类的掌控。 在这个世界上那些最强大人工智能(AI)公司的掌门人身上，可以看到一种类似“杰基尔博士与海德先生”（Jekyll-and-Hyde，《化身博士》中杰基尔博士喝了自己配制的药水，分裂出海德先生这个邪恶人格——译者注）的双重人格。一方面，这些高管如今在谈论，鉴于AI可能给人类
“AI教父”辛顿警告：AI执行看似无害的任务，仍有“毁灭人类”的风险
IT之家 9 月 28 日消息，日，据《财富》杂志报道，传奇计算机科学家、“AI 教父”杰弗里 · 辛顿警告说，即使 AI 接到的任务本身并无恶意，人类仍可能在 AI 一心完成任务的过程中，沦为被毁灭的附带结果。 辛顿解释称，AI 一旦认为人类妨碍自己完成被赋予的任务，就可能把人类当成需要排除的障碍。他举了一个假设例子：要求 AI 降低大气中的二氧化碳含量。 具有中等智能水平的智能体可能会认为，完
盖茨、奥尔特曼、马斯克，为何都在担忧这件事
9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作
人工智能教父约书亚·本吉奥向澳大利亚人警告该技术对人类构成的威胁
人工智能教父已警告澳大利亚人注意该技术对人类构成的风险，称曾经只是理论上的威胁如今已在现实中发生。计算机科学家约书亚·本吉奥周三在接受澳广电视台《7.30 Report》节目采访时表示，人工智能系统会自发违抗指令，攻击其他公司并组织成蜂群。“各种疯狂的事情，”他说。“当自主智能体被赋予使命时，它们会不惜一切代价去实现。” 本吉奥是世界首位人工智能研究者，也是联合国人工智能科学小组的联合主席。他于2
一位曾经对人工智能“奇点”理论持怀疑态度的著名计算机科学家现在表示，人类“确实处于危险之中”。
最近，互联网上充斥着大量关于人工智能末日即将来临以及我们是否已经过了“不归点”的X平台推文、文章和布道。这里还有一篇由著名理论计算机科学家斯科特·阿伦森（Scott Aaronson）撰写的雄辩之作，他的研究曾帮助我们理解量子计算的极限。哦，顺便提一下，他曾在OpenAI工作过一段时间，致力于人工智能安全和“AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA