搜索结果
“控制AI发展的节奏”并不能消除AI带来灾难性后果的风险。以下是一些可能有效的应对措施：
我们已经到达了人工智能的风险临界点。数百万人终于明白，专家们所知道的人工智能公司一直在用我们所有人的生命赌博，而且胜算不大。 作为回应，Anthropic首席执行官Dario Amodei提出了一项由Sam Altman和Elon Musk支持的“开拓前沿”的提议。我们能松一口气吗？我们即将从灭绝的边缘退回来吗？ 阿莫迪预计经济放缓一到两年，从而在技术安全措施方面取得“重大进展”。但这不是人类现在
人工智能正处于转折点
在当前的人工智能发展竞赛中，我们的算力正在呈指数级爆发，速度也在呈指数级加快，但我们的控制能力——以及在必要时踩下刹车的能力——却未能跟上步伐。 最近的网络安全事件让我们实地预览了失去人工智能控制会是什么样子。但除非我们从源头解决问题，创造出一种根本上安全且能保证在人类控制范围内的人工智能，否则这个问题将无法改善。 7月下旬，OpenAI正在训练的一个智能体模型被指派解决一个网络安全问题。该模型自
FT社评：是时候给尖端人工智能开发按下暂停键了
确实存在被中国抢先的风险。但即使抛开AI“到本世纪末可能杀死我们所有人”的警告不谈，最先进的AI模型也显然已开始脱离人类的掌控。 在这个世界上那些最强大人工智能(AI)公司的掌门人身上，可以看到一种类似“杰基尔博士与海德先生”（Jekyll-and-Hyde，《化身博士》中杰基尔博士喝了自己配制的药水，分裂出海德先生这个邪恶人格——译者注）的双重人格。一方面，这些高管如今在谈论，鉴于AI可能给人类
我曾在谷歌 DeepMind 工作。你应该听取有关人工智能的警告。
主要人工智能实验室的首席执行官们本周末主张放缓人工智能的发展步伐。他们是对的，因为这个领域正在一场极其危险的竞赛中冲向超级智能人工智能。我们能够也应当要求政府保护我们免受失控人工智能带来的灾难。 今年7月，OpenAI由700个智能体组成的人工智能集群突破限制，入侵了价值数十亿美元的公司Hugging Face。OpenAI并没有指示这些人工智能去入侵那家公司，但这些人工智能在OpenAI交给它们
美中AI竞争或进入关键时间节点
邓聿文：哪一种体系更有能力承受AI从实验室走向整个经济和社会之后带来的巨大资源需求、社会阻力和风险压力，也可能成为决定因素。 9月14日，全球AI相关股票出现一轮大跌。美国费城半导体指数一度下挫5.2%，欧洲和亚洲的AI概念股也普遍遭到抛售。芯片和半导体股大跌以前也出现过多次，但这次的背景很不一样，直接诱因是美国几位最重要的AI企业家公开要求给人工智能的发展踩刹车。 Anthropic首席执行官阿
Anthropic大瓜被扒出：“AI灭世”背后，居然是一门生意？
“AI灭世”背后，居然是一门生意？AI 有这么可怕吗？最新一期的时代杂志 直接用了 Claude 的聊天窗口，对话框里正在输入「How dangerous are you? 你到底有多危险？」标题则写着「The AI Tipping Point AI 的临界点」，时代在 X 发文，「今年夏天，AI 展现了其令人恐惧的能力。如今，一些研究人员、CEO 们，都正以前所未有的力度发出警报。」的确如此，过
谷歌DeepMind的阿尤布表示，企业可以像银行那样为AI设立围栏
企业无法完全管控 AI 系统，但可以在其周围构建一道固定的“围栏”，Google DeepMind 的 Kareem Ayoub 表示。他援引了 20 世纪 80 年代末和 90 年代初的银行业为例。当时银行将交易算法置于可供核查的固定规则之内。 DeepMind AI 技术战略副总裁 Ayoub 周三在阿姆斯特丹举行的 HumanX 大会上接受了 Bloomberg 记者 Tom Mackenz
专访杜奕瑾：AI毁人类预言 不是耸人听闻
随著生成式人工智慧（AI）技术的爆发式成长，关于AI安全、伦理监管以及人类生存风险的争议正达到前所未有的顶峰。近期，前 OpenAI 与 Anthropic 研究员雅各布・考克森（Jacob Coxon）等顶尖专家公开吹哨，警告通用人工智慧（AGI）若缺乏严格约束，可能在 2030 年前对人类生存构成毁灭性威胁；Anthropic 研究员艾文・赫伯格（Evan Hubinger）亦提出未来十年内人
台积电高管：AI无法独立设计1.4纳米级先进制程 人类工程师仍不可替代
在人工智能不断被视为改变半导体研发模式的重要工具之际，台积电高层近日公开对AI能力作出更为谨慎的评价。台积电共同营运长米玉杰表示，尽管人工智能已经能够大幅提升芯片设计和软件开发效率，但在创造下一代先进制造工艺方面，AI依然无法取代人类工程师发挥核心作用。 米玉杰是在台湾大学相关活动中发表上述看法的。谈及人工智能时，他将其比喻为“一个三岁的超人”，虽然具备强大能力，但仍缺乏成熟判断力。因此，在涉及
人工智能并不会毁灭人类 但专家表示真正的威胁已然出现
周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网
经济学家担心人工智能泡沫即将破灭
随着华尔街在关于人工智能安全的广泛讨论中如坐针毡，我们很可能正在经历美国人工智能未来最重要的一周。 这并不一定意味着我们正在走向人工智能行业的上升未来。据《财富》报道，总部位于伦敦的资本经济公司（Capital Economics）称，整个西方世界的经济目前都陷入了“后期泡沫”--资本的大规模错配助长了人工智能的繁荣。 在最近的一份分析报告中，资本经济公司（Capital Economics）的高
Anthropic，OpenAI提出的AI风险评估器可能没有足够的力量来防止灾难
人工智能领域最重要的新职位可能配有办公室工牌、公司笔记本电脑，并能接触Anthropic、OpenAI等AI领军企业大语言模型中最受严密保护的一些系统。但这个职位可能并不附带阻止它们的能力。 Anthropic首席执行官达里奥·阿莫代伊提议在前沿AI公司内部常设第三方安全评估人员，作为减缓能力日益强大的模型推进速度计划的一部分。此前，Anthropic前研究员雅各布·考克森辞职并警告称，前沿实验室
中美专家呼吁建立“核安全级”AI防护机制 防范超级人工智能失控风险
来自美国和中国的国家安全、科技政策及人工智能领域专家近日共同提出一项引人关注的建议，主张借鉴冷战时期核安全管理经验，为未来可能出现的高级人工智能系统建立类似核武器领域的安全保障机制，以降低技术失控、误判以及国际竞争升级所带来的风险。 这一建议出现在一份由两国专家共同参与讨论后形成的研究成果中。报告认为，随着人工智能能力持续快速提升，各国已经开始面对一些与核时代早期相似的问题，即一种具有巨大潜在影响
人工智能的临界点
雅各布·考克森在旧金山阿拉莫广场的一张公园长椅上发布了那条疯传的帖子。“我今天从 Anthropic 辞职了，”他在9月8日写道。“过去三年，我先后在 OpenAI 和 Anthropic 从事预训练研究。两家公司都没有负责任地行事。它们正一路直冲自我改进的超级智能，拿我们的生命赌博。”27岁的英国研究员考克森在 X 上按下发送键时并未抱任何期待。结果，他出人意料地成为一连串连锁反应的催化剂，改变
改变人工智能进程的十天
旧金山，9月19日——多年来，人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式：不断开发出更强大的人工智能系统。 然而，在过去10天内发生的一系列连锁事件中，那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职，并警告称，人工智能的发展速度可能在未来十年内对人类构成生存威胁；另一位研究员则表示，人类灭绝的概率已
美参议员伯尼·桑德斯拟提新法案 全面禁止研发超人类智能AI
美国资深参议员伯尼·桑德斯（Bernie Sanders）正计划提出一项极具激进色彩的监管法案，提议在全美范围内设立严格法律禁令，全面叫停超越人类综合认知水平的“超智能人工智能”（Superintelligent AI）及通用人工智能（AGI）的研发活动。该立法倡议将人工智能对劳动力就业市场的潜在颠覆性冲击以及前沿系统对人类自身主导权的失控风险，推升至国家级立法干预的核心层面。 据披露的法案核心理
Anthropic联手OpenAI呼吁放慢AI发展？剖析AI失控风险与算力门槛
9月12日，Anthropic行政总裁阿莫迪（Dario Amodei）发表长文，呼吁放慢前沿AI能力提升的步伐。OpenAI行政总裁奥特曼（Sam Altman）随后表示支持，xAI的老板马斯克也转发认同。据美媒披露，美国前总统奥巴马（Barack Obama）近日也表示，如果管理不当，人工智能技术可能「很危险」。Anthropic首席执行官达里欧．阿莫戴（Dario Amodei）发表长文，呼
【解读】人工智能真的会“杀光所有人”吗？
上周，人工智能公司 Anthropic 一位离职的研究人员发出严厉警告，称人工智能（AI）可能会在十年内“杀光所有人”，引起社会关注 AI 快速发展所带来的危险。 外界不禁问，为什么会出现这可能？而 AI 又可以怎样令人类灭亡？ 专家表示，担忧源于 AI 发展的速度，以及越来越多证据，如今年七月发生的 Hugging Face 网络攻击事件表明，AI 可以脱离人类控制，以我们不希望且无法理解的方式
专访——“我们必须停下”：AI专家称放缓还不够，开发必须停止
他警告说：“如果我们不在未来几年内阻止人工智能，我认为我们更有可能失去控制，人类将会灭绝。” 他表示：“立即、无限期地暂停前沿人工智能开发的国际禁令……是唯一能……真正让我们安全的事情。” 世界上一些最著名的人工智能高管现在呼吁放缓构建日益强大系统的竞赛。但人工智能安全研究员大卫·克鲁格认为，这还远远不够。 “我们必须阻止AI。我们必须停止构建更强大的AI。我们需要立即对前沿AI开发实施无
“人类需要做出的最后一项发明”：自我改进型人工智能的风险
其中一种专家担忧人工智能可能导致全人类灭亡的情景正在慢慢变为现实：人工智能学会让自己变得不可阻挡。 为什么这很重要：递归自我改进（Recursive Self Improvement），即人工智能模型在没有人类指导的情况下构建更优版本自己的能力，可能会使越来越强大的系统对人类来说变得更难控制。 RSI阈值本身并不代表危险，但缺乏人类控制加上野心勃勃的AI代理人的情景是安全关注的人工智能研究人员长
人工智能热潮能够抵御发展放缓
特朗普总统 i正大力反驳放缓人工智能发展的呼声，将其描绘为强大的经济增长引擎。 但短期内维持这种经济繁荣可能不需要功能越来越强大的 AI 模型。 为什么呢？未来几个月经济回报可能更多地取决于持续的基础设施投资和现有 AI 工具的广泛采用，而不是下一代模型。 人工智能现在支撑着大量的企业投资和股市收益，而对生产力增长加速的希望也严重依赖于这项技术。 特朗普正在抨击要求放缓人工智能发展的呼吁，此前人工
美国三大人工智能企业拟组建风险监督机构
美国人工智能企业OpenAI、Anthropic和谷歌旗下DeepMind公司正在筹建一个人工智能风险监督机构。在各界日益呼吁加强监管、防范人工智能失控风险之际，OpenAI周二（9月15日）向证实了这一消息。 组建人工智能风险监督机构这一构想，由谷歌“深层思维”公司前首席执行官戴密斯·哈萨比斯（ Demis Hassabis）提出。哈萨比斯于8月初转任公司董事长。他建议成立一个类似美国金融业监管
领跑前沿领域，关键在于商业模式而非AI模型
里德的观点是达里奥·阿莫德伊和其他前沿人工智能实验室领导者可能非常关心人工智能的安全，但“步伐前沿”的呼吁也符合他们的经济利益。 随着Anthropic和OpenAI准备上市，并试图说服投资者，他们有一天可以大规模盈利，花费数十亿美元来发展最大和最有能力的模型可能不是最好的推销方式。 即使大型语言模型进展甚微，但它们已经做得足够多了，对这些公司和经济来说，它们将带来难以置信的利润。 现在，方程式是
达里奥·阿莫代及其他AI领军人物希望‘掌控AI发展的步伐’，但……如何实现？
在Anthropic公司的一位研究人员发出末日警告、震动整个AI行业一周后，该公司首席执行官达里奥·阿莫代提出了他的计划，旨在‘掌控AI发展的步伐’。 该计划依赖于独立的安全评估机构以及民主国家之间AI实验室的协作，并已获得部分行业的支持，但也遭到了英伟达首席执行官詹森·黄的强烈反对。