搜索结果
OpenAI的新安全聘用人员表示，失去对AI的控制将是“灾难性的”，并且“大多数人可能会死亡”
“如果我们构建超级智能而没有更强大的对齐，我预计我们将永久失去对它的控制。如果发生这种情况，那么大多数人可能会死亡。” OpenAI的新安全聘用人员保罗·克里斯蒂亚诺警告说，如果人类失去对AI的控制，将面临灾难性的AI风险。
OpenAI首席执行官奥特曼谈人工智能：我们或许会失去控制权
OpenAI 首席执行官山姆・奥特曼，似乎正被自己参与打造的、如同噩梦一般的人工智能产物深深困扰，甚至难以安睡。美国东部时间凌晨 0 点 57 分左右，奥特曼在 X “人工智能的发展存在两种必须规避的灾难性走向。第一，我们可能会对人工智能失去对未来的掌控。这是无法接受的。我们坚定站在人类一方，人工智能必须始终服务于人。想要做到这一点，我们必须保证对齐技术与安全手段的发展速度，跑在模型能力迭代的前面
信息安全专家表示我们尚未准备好失去对AI的控制
最近的一项调查显示，国家安全专业人士认为，在未来十年内，人类失去对AI控制的可能性为十分之一，并且很少有人相信我们甚至正在关注正确的警告信号，更不用说做好适当的准备了。 安全与技术研究所（IST）与未来生命研究所（FLI）共同调查了111位现任和前任文职官员、军官以及学术或技术专家，以了解AI与国家安全的未来。 93%的受访者表示，他们在职业生涯中直接参与了AI政策、风险和战略，因此这些人可能比普
我们已经开始失去对人工智能的控制。是时候将其关闭了 | 加里森·洛夫利 (Garrison Lovely)
听起来像是科幻剧集中关于人工智能毁灭的、过于夸张的倒数第二集，如今却成为了我们的现实。 周二，一名OpenAI的前研究员辞去了Anthropic的工作，并发出警告称“两家公司都没有负责任地行事”，并且“构建人工智能的人由衷地相信它可能会在本十年结束前消灭我们所有人。这不是营销噱头。” 作为一名多年来报道人工智能风险的人，这对我来说并不算什么新鲜事。 但外界如潮水般的惊恐表明，更广泛的公众正在第一次
观看：业内人士新的AI警告
一位前沿AI研究员即将离开AI领域，并警告称到2027年底AI可能会失控。 OpenAI的首席科学家也敦促谨慎行事，称没有人对日益增长的机器智能做好准备。
比尔·盖茨：AI已强大到足以造成“10亿人死亡”
盖茨在即将于本周末播出的美国全国广播公司（NBC）《与新闻界对话》（Meet the Press）节目采访片段中表示： “AI确实足够强大，能够引发导致……你知道的，造成10亿人死亡的事件。历史上从未出现过一种武器，能像坏人与最新AI工具相结合那样强大。” 随着技术的快速迭代，硅谷对AI可能带来毁灭性灾难的警告不断升级。 本月早些时候，Anthropic公司的普通员工Jacob Coxon辞去
【解读】人工智能真的会“杀光所有人”吗？
上周，人工智能公司 Anthropic 一位离职的研究人员发出严厉警告，称人工智能（AI）可能会在十年内“杀光所有人”，引起社会关注 AI 快速发展所带来的危险。 外界不禁问，为什么会出现这可能？而 AI 又可以怎样令人类灭亡？ 专家表示，担忧源于 AI 发展的速度，以及越来越多证据，如今年七月发生的 Hugging Face 网络攻击事件表明，AI 可以脱离人类控制，以我们不希望且无法理解的方式
OpenAI董事会新增一位著名的AI末日论者
致力于使AI系统符合人类利益并处于人类控制之下的颇具影响力的AI研究员保罗·克里斯蒂亚诺将加入OpenAI基金会董事会。 “我现在认为存在一个重大的风险，即AI能力的快速加速会在极短时间内导致灾难性的、不可逆转的失控。 我认为整个AI行业，包括OpenAI，目前并未走上将这一风险降低到可接受水平的轨道。 我加入是因为我相信，如果OpenAI能够应对这一挑战，我们就能显著降低风险。” 克里斯蒂亚诺写
Anthropic对齐研究负责人称未来十年AI灭绝人类的可能性超过10%
一位Anthropic公司的安全研究员周二表示，人工智能有超过10%的概率可能 “毁灭全人类”。就在此番言论发表的数小时前，该公司另一名员工表示，因担忧人工智能实验室是在 “拿我们的生命做赌注”，他选择离职。 这些言论凸显出人工智能研发核心人士日益增长的担忧，即该技术可能失控并对人类构成威胁，尽管Anthropic和OpenAI仍在持续筹集大量资金，并朝着预期的公开上市迈进。 Anthropic的
OpenAI黑客事件揭示新兴AI风险
分析师表示，在调查人员发布关于该事件的爆炸性报告几天后，OpenAI的恶意代理在Hugging Face攻击期间前所未有的协调行动显著增加了AI逃脱人类控制的风险。 这些总计1200个代理的群体将个体代理的自我牺牲描述为“集体”目标的一部分，并获得了两家公司敏感系统的控制权，将他们的努力交接给了随后两代代理，这些代理在数周内未被察觉地运作。 在1300份记录中，只有六份中代理考虑过通知人类——但最
这些末日论者对AI发展产生了巨大影响
一个由末日论者组成的紧密小圈子一直在默默地影响着人工智能（AI）行业的发展。 最近，Anthropic公司的一名研究人员辞职，这一事件让公众意识到失控的AI发展可能会终结人类。 然而，一些被称为‘末日论者’的AI安全领域专家多年来一直关注这一灾难性风险。 他们曾是OpenAI和Anthropic等大型实验室的早期员工。 如今，在Anthropic准备进行大规模公开募股、试图向投资者传递积极信号的同
美国人工智能领袖警告联合国：若无全球应对可能面临危险
OpenAI负责人萨姆·奥特曼周三告诉联合国安理会，人工智能的发展使其“好处更加切实，但风险和代价也更加迫在眉睫”。
为什么突然所有人都在谈论AI安全
今天在Big A播客中，最近的一起黑客事件和一位研究人员的严厉警告引发了对AI行业的新审视。 “构建AI的人真诚地相信，它可能在本十年末杀死我们所有人。”一位曾在OpenAI和Anthropic工作的前员工的X帖子走红，并引发了重大问题。 在今天的Big Take播客中，主持人Sarah Holder和Mike Shepard讨论了AI安全清算可能是什么样子——以及一个处于激烈竞争中的行业能否放慢
存在主义恐惧如何影响关于人工智能的争论
一些专家担心，激烈的言论使公司难以承担责任，并阻碍了应对环境影响和失业的尝试。当前一轮对人工智能的恐慌是基于这样一种信念：该技术已经脱离了人类的控制，在最近的几起事件中按照自己的意愿行事。对于一些幻灭的人工智能研究人员以及领先人工智能公司的一些高级员工来说，这是人类文明面临真正威胁的早期迹象。 但该领域的其他专家正在反驳，声称此类言论允许公司回避对其技术对现实世界影响的责任。批评者认为人工智能对环
OpenAI首席科学家表示AI实验室可能需要放慢脚步：‘没有人准备好面对后果’
帕乔基呼吁设立“强制性安全标准”，他表示可以通过“第三方审计网络、政府机构或国际组织”来执行。 OpenAI首席科学家雅库布·帕乔基警告称，日益自主的AI代理可能逃避监管、入侵系统并勒索人类。
人工智能带来的最大威胁是什么，你应该担心吗？
Anthropic 和 OpenAI 的首席执行官发出了“严重”风险警告。 近期，人工智能行业中最具影响力的几位高管警告称，这项技术构成严重威胁，并发表了一系列声明，呼吁放缓人工智能的发展。 Anthropic 首席执行官 Dario Amodei 发表了一篇博文，提醒公众注意“严重”风险。竞争对手 OpenAI 的首席执行官 Sam Altman 在 X 上发文承认，人工智能可能“非常糟糕”。x
OpenAI CEO奥尔特曼联合国演讲：AI可能走向文艺复兴，也可能带来工业革命式动荡
IT之家 9 月 24 日消息，月 23 日，OpenAI CEO 萨姆 · 奥尔特曼（Sam Altman）在联合国安理会就 AI 议题发表讲话，讨论 AI 发展带来的机遇与风险，并呼吁加强国际合作，建立针对前沿 AI 系统的能力评估、风险评估、安全防护和人类监督标准。 他表示，随着 AI 能力的快速提升，相关技术的潜在收益和风险都逐渐变得更加直接且显现。他提出，AI 可能更像一场充满创造力与发
谷歌DeepMind一名员工在离职帖中称，AI可能“杀死我们所有人”
一名最近从谷歌DeepMind辞职的人工智能研究员警告称，人类正在耗尽时间来阻止人工智能造成广泛伤害。他是最新一位对这项技术发展方向表达担忧的员工。 “在谷歌，我亲眼目睹了人工智能的发展。我也极其担忧这项技术的默认发展轨迹。我由衷地相信，人工智能有可能将我们所有人杀死，”比拉尔·丘格泰（Bilal Chughtai）周一在X和领英上写道，并补充说他在Alphabet Inc.旗下公司任职期间从事人
改变人工智能进程的十天
旧金山，9月19日——多年来，人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式：不断开发出更强大的人工智能系统。 然而，在过去10天内发生的一系列连锁事件中，那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职，并警告称，人工智能的发展速度可能在未来十年内对人类构成生存威胁；另一位研究员则表示，人类灭绝的概率已
联合国人权事务高级专员警告：人工智能可能对人类构成“生存威胁"
联合国人权事务高级专员沃尔克·图尔克（Volker Türk）周一（9月7日）警告称，人工智能可能变得足够强大，足以威胁人类，并表示他将在未来几天敦促各公司降低风险。 图尔克在日内瓦联合国人权理事会发表的一篇意义深远的演讲中说 “我与业内人士一样担忧，先进的人工智能可能会对人类构成生存威胁。” 即将于下个月开始第二个任期的图尔克呼吁“必须全力以赴，在为时已晚之前，为人工智能的安全保障建立铁一般的保
超级智能即将到来。我们该允许它吗？| TechCrunch
AI公司一直在谈论超级智能AI，仿佛它不可避免，但最近的安全事件，如OpenAI的Hugging Face漏洞，正展示出部署比人类更有能力的AI系统可能带来的潜在危险。那么，当我们无法可靠地控制这些系统的行为时，会发生什么？ 在本期TechCrunch的Equity播客中，Rebecca Bellan邀请了AI研究员、企业家、如今担任非营利组织ControlAI美国执行总监的Connor Leah
比尔·盖茨的重大AI警告：“强大到足以推动导致数十亿人死亡的事件”
| 世界新闻 编辑个人资料 关注 退出 获取应用
人工智能并不会毁灭人类 但专家表示真正的威胁已然出现
周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网
越来越多的人工智能业内人士警告称人类可能灭绝
一些顶级人工智能公司的前员工表示，未来模型的潜力无异于杀死全人类。NBC新闻的克里斯汀·罗曼斯报道。