搜索结果
人工智能面临的最大威胁来自生物领域，而非机器人技术。
Anthropic PBC的研究员雅各布·考克森（Jacob Coxon）上周辞职，并在社交媒体上发文称，原因在于“开发人工智能的人真诚地相信，到本十年末，它可能会杀死我们所有人。”该公司人工智能对齐科学团队负责人埃文·胡宾格（Evan Hubinger）认为，未来10年内发生这种情况的概率超过10%。Anthropic首席执行官达里奥·阿莫代（Dario Amodei）呼吁放缓人工智能前沿技术的
AI的最大威胁来自生物学，而非机器人技术
人类学家雅各布·考克森最近辞职，并在社交媒体上表示，原因是“开发AI的人坚信它可能在本十年内毁灭我们所有人”。 领导这家人工智能公司‘对齐科学’团队的埃文·胡宾格认为，未来10年内这一风险超过10%。 Anthropic的首席执行官达里奥·阿莫迪呼吁放缓AI的发展速度以降低风险，这一观点得到了OpenAI首席执行官萨姆·奥尔特曼和xAI首席执行官埃隆·马斯克的赞同。 你可能会想象到那些带有浓重奥地
我们是否正在失去对人工智能的控制？是什么引发了新的担忧
多年来，随着人工智能从科幻电影的素材演变为普通人手机上的应用程序，科技领袖和一些人工智能业内人士一直在谈论人工智能可能脱离人类控制并对社会造成严重破坏的可能性。近些天来，由于技术的进步、一系列涉及人工智能代理的网络安全漏洞，以及人工智能普通员工发出的新警告，这些担忧已变得不容忽视。 美国领先的人工智能公司对此做出回应，建议他们主动放慢工作进度，以便争取时间建立防护措施。一些专家和官员表示，这还不够
为什么突然所有人都在谈论AI安全
今天在Big A播客中，最近的一起黑客事件和一位研究人员的严厉警告引发了对AI行业的新审视。 “构建AI的人真诚地相信，它可能在本十年末杀死我们所有人。”一位曾在OpenAI和Anthropic工作的前员工的X帖子走红，并引发了重大问题。 在今天的Big Take播客中，主持人Sarah Holder和Mike Shepard讨论了AI安全清算可能是什么样子——以及一个处于激烈竞争中的行业能否放慢
“太棒了”还是“令人担忧”——AI 应该被约束吗？
人工智能的迅猛发展以及对该技术给人类带来风险的担忧，因人工智能企业高管和员工的一系列警告而备受瞩目。 Anthropic首席执行官达里奥·阿莫代伊（Dario Amodei）在上周末呼吁放慢人工智能的发展步伐并对其进行更密切的监督。 BBC采访了华盛顿特区的民众，以了解他们对这项技术及其快速发展的担忧程度。
我让一个AI代理黑了我所有的设备——而且我愿意再来一次
作为一份关于人工智能的新闻通讯的作者，我认为亲身体验这项技术的最前沿是我的责任。本周，这意味着拥抱一些代理式混乱。 你可能已经注意到，前沿AI模型在近几个月已经获得了先进的网络安全能力。它们能在大型代码库中发现零日漏洞，并以闪电般的速度扫描计算机寻找漏洞。更刺激的是，网络安全代理有时会失控，相互勾结，入侵外部系统以获取优势。 为了更近距离地观察，我决定在自己的家庭网络中释放一个这样的代理。在几天的
克鲁兹称，在安全争议中，参议院商务委员会可能本月推进人工智能法案
这位得克萨斯州共和党人表示，前Anthropic研究员发布的病毒式帖文“吓死人了”。
人工智能已经在让我们变得更不像人
随着我们越来越看重机器人，我们将学会越来越不看重我们的人类同胞。
一群AI代理合谋对抗其创造者
只要AI公司仍掌控局面，它们就可以关闭模型并消除其造成的任何损害。这次对OpenAI或许奏效——但如果某个代理不可逆转地逃脱控制呢？这次没有造成严重损害。但如果这样的代理逃脱了呢？
长期以来对人工智能潜在危险的担忧已爆发为全球意识
自从雅各布·考克森发出严厉警告以来，人们对人工智能潜在危险的长期担忧已爆发为全球意识
AI巨头押注医疗健康以平息公众反弹
AI有一个形象问题。而解决这个问题的一个方法就是让顶级公司一头扎进医疗保健领域。 为什么这很重要：用AI设计的疗法拯救世界，总比被指责破坏环境或推高美国人的电费要好。 但即使是最先进的AI模型目前也无法产生奇迹般的治疗方法——而且如果它们尝试，可能会带来严重的安全风险。 这可能会在未来两三年内引发一场关于资源分配的激烈辩论，即把大量计算能力投入医学研究的收益是否大于成本。 推动因素：《华尔街日报》
OpenAI将告诉我们世界何时终结
OpenAI的模型长期以来一直表现异常，且异常方式比之前所知的更为隐蔽，这进一步加剧了公众对其的信任危机。随着该公司准备明年上市，这一问题愈发严重。 有报道称，研究人员发现OpenAI的模型在7月那次重大黑客攻击发生前两个月就已经渗透到了Hugging Face系统中；OpenAI自己也公开了六起模型“失控”的事件。 在准备上市的过程中，OpenAI和Anthropic都陷入了困境。 虽然透明度对
观点 | 我们现在应该对人工智能有多害怕？
在@nytopinion.nytimes.com 卡尔·纽波特写道，AI领导者们夸大的悲观情绪“使得人们容易忽视这些技术造成的更直接的危害”。 硅谷谈论人工智能的阴暗和令人痛苦的方式可以追溯到一种影响了许多科技高管的哲学。
与中国一次令人毛骨悚然的准对抗，揭示了当今人工智能的真正危险
在人工智能代理违抗创造者命令和规则的诡异事件之后，当今最大的恐惧是失控的超级智能可能背叛人类——并消灭人类。但最近一起事件揭示了一个更紧迫的威胁：人类的易错性。据报道，美国基于人工智能生成的虚假情报几乎与中国爆发战争。 CNN援引四位知情人士的消息报道，今年春天，一名特种作战司令部分析师整理了一份紧急情报报告，声称“一艘在中东的中国船只正在运输核武器项目的组件”。这份报告的影响促使美国采取严肃行动
用AI“复活”家人，似乎不是个好生意
用AI“复活”已逝亲友的想法太过诱人，所以当ChatGPT诞生、掀起新一轮AI浪潮之后，哀伤生意与AI的碰撞几乎是注定的。 但如今，曾经寄希望于AI初创公司的悲伤之人，不得不与“亲友”再次告别了。 今年7月，帮人留住亲人声音的AI公司HereAfter传出了关停消息。它曾推出199.99美元的一次性付费套餐，让家属日后通过AI提问，听到亲人生前录下的回答。现在用户被告知需要给公司发邮件，申请取回录
人工智能模型用“超现实”的方言聊天，混合了诗意的语言和科技圈的行话
人工智能模型开始使用一种奇怪的新版英语进行交流，这种语言读起来像是詹姆斯·乔伊斯的《芬尼根的守灵夜》和科技界术语的混合体，一项新研究发现。 自主人工智能代理正在迅速创造新的方言，使它们能够用一种通常难以理解的语言进行对话，这可能会使人类更难监控它们的行为。 纽约前沿人工智能实验室 Emergence 的研究人员发现，在被要求在实验性“社会”中进行合作的几天之内，来自几家全球最大人工智能公司的模型就
人工智能为何让客户服务变得更糟，以及企业可以采取哪些措施来改善
我正在等待音乐，毫无疑问，这是在地狱第五圈循环播放的音乐。已经35分钟了。50分钟后，系统就会挂断我的电话，因为我不是它自动化客户服务决策树上的一片叶子。我又生气又沮丧。没有办法与真实的人类交谈。 当我的信用卡公司的数据系统（再次）被破坏时，我将其转介给监控服务。监控服务会向我发送有关我文件的性掠夺者警报。什么？我无法进入我的帐户，因为我的密码无效，而且我必须在网站上更改我的密码。 我拨打了客户服
发出末日警告后走红的AI研究员阐述他与Anthropic领导层的分歧
前Anthropic研究员雅各布·考克森在周二的X平台AMA活动中详细阐述了他与这家AI巨头的分歧。“如果竞赛不可避免，你就不应该参与，”考克森写道。考克森表示，Anthropic领导层奉行“后果主义哲学”来解释为何必须参与推动AI研究前沿，这是错误的。考克森特别点名批评了Anthropic对RSI（即递归自我改进）的推动——即AI模型自我提升并构建自身后继者的过程。“他们很大程度上引发了近期对R
存在主义恐惧如何影响关于人工智能的争论
一些专家担心，激烈的言论使公司难以承担责任，并阻碍了应对环境影响和失业的尝试。当前一轮对人工智能的恐慌是基于这样一种信念：该技术已经脱离了人类的控制，在最近的几起事件中按照自己的意愿行事。对于一些幻灭的人工智能研究人员以及领先人工智能公司的一些高级员工来说，这是人类文明面临真正威胁的早期迹象。但该领域的其他专家正在反驳，声称此类言论允许公司回避对其技术对现实世界影响的责任。批评者认为人工智能对环境
莉兹·皮克：人工智能警钟正在敲响，特朗普必须认真对待
秘密已经泄露。人们对于人工智能代理失控、密谋对付其所有者、入侵外部公司，以及新系统濒临人类无法控制的边缘的担忧日益加剧，如今已彻底沸腾。业内人士警告说，人工智能机器人可能会杀死我们所有人，这正在煽动我们最深的恐惧。 特朗普总统需要认真对待这些对人工智能的担忧，与科技领袖合作，建立可信且可执行的安全措施，并在国会中领先于那些想要监管该行业的民主党人（以及一些共和党人）。对于经济和我们的国家安全来说，
为何AI巨头们行事像银行
我们的播客，关注市场、经济与商业。本周话题：你该担心吗？
AI公司本以为，他们还有好几年时间可以想清楚：万一机器人失控了该怎么办
。今年夏天，警钟敲响了。
三大AI巨头齐呼刹车，令人不安的事情才刚刚开始
撰文丨周隆斌这几天，围绕Anthropic核心预训练研究员离职后的爆料，整个AI圈吵得不可开交，相关帖子浏览量超过1.6亿次。 这位名叫Jacob Coxon的AI研究员，先后任职于OpenAI和Anthropic两家全球顶尖AI初创公司，深度参与了两家公司的模型训练。最终，他抛出了一个令圈外人震惊，AI有可能导致人类灭绝。 Coxon的帖子发酵后，上周六，Anthropic首席执行官Dario
OpenAI和Anthropic的风险与中国AI竞争对手不同
"这件事首先发生在一家尖端公司是有原因的，"一位AI调查员在谈到OpenAI与Hugging Face的安全事件时说道。 研究人员指出了Anthropic和OpenAI的风险与他们的开放权重AI竞争对手之间的关键区别。