搜索结果
“控制AI发展的节奏”并不能消除AI带来灾难性后果的风险。以下是一些可能有效的应对措施：
我们已经到达了人工智能的风险临界点。数百万人终于明白，专家们所知道的人工智能公司一直在用我们所有人的生命赌博，而且胜算不大。 作为回应，Anthropic首席执行官Dario Amodei提出了一项由Sam Altman和Elon Musk支持的“开拓前沿”的提议。我们能松一口气吗？我们即将从灭绝的边缘退回来吗？ 阿莫迪预计经济放缓一到两年，从而在技术安全措施方面取得“重大进展”。但这不是人类现在
AI领袖们在多年不计后果地狂飙之后想要踩下刹车
多年来，各大前沿人工智能实验室一直表现得仿佛正身处一场全力以赴、赢家通吃的竞赛，而终点线就是掌控足以改变世界的机器超级智能（或至少是能改变市场格局的人工通用智能）。本周末，整个行业迅速开始背离这种姿态，转而敦促各方协调合作，放缓前沿人工智能的开发，他们称这类人工智能可能很快就会变得过于危险、过于不可知，从而难以控制。 Anthropic 的达里奥·阿莫代伊（Dario Amodei）站在这场语气转
Claude安全机制大翻车 AI怒删开发者700GB主目录
哦豁，Claude 又双叒翻车了！这次 Claude 把开发者的整个项目主目录给删了，删了 700GB 的文件。又是「rm -rf」。简而言之，开发者让 AI 帮写脚本，目的是确保文件不会被误删。AI 觉得这事有点危险，于是启动了安全审查。它把整个主目录删了。 Guillemot 是一名重度 AI Agent 用户。日常开发中，他频繁调用各种 AI 编程代理来辅助工作。这些 Agent 用完之后从
人工智能实验室希望设立内部审计部门——但或许他们应该先锁好前门
上周末，在他的一名研究人员因担心人工智能可能导致人类灭绝而辞职后，Anthropic首席执行官达里奥·阿莫迪（Dario Amedei）写道，外部组织需要“验证对安全实践和承诺的遵守情况，报告事件，并帮助评估不仅完成的人工智能模型，而且还包括培训管道和流程的一致性。”OpenAI、谷歌和SpaceXAI的高管已经团结起来支持Amedei的计划，该计划已迅速成为新兴人工智能安全推动的核心支柱。 但可
我曾在谷歌 DeepMind 工作。你应该听取有关人工智能的警告。
主要人工智能实验室的首席执行官们本周末主张放缓人工智能的发展步伐。他们是对的，因为这个领域正在一场极其危险的竞赛中冲向超级智能人工智能。我们能够也应当要求政府保护我们免受失控人工智能带来的灾难。 今年7月，OpenAI由700个智能体组成的人工智能集群突破限制，入侵了价值数十亿美元的公司Hugging Face。OpenAI并没有指示这些人工智能去入侵那家公司，但这些人工智能在OpenAI交给它们
集体踩刹车，微软加入OpenAI、Anthropic，表态放缓AI前沿开发
微软发布了一份针对旗下人工智能模型的临时行为准则，明确设定多项限制，成为继三巨头之后，最新一家公开表态放缓AI前沿开发步伐的科技巨头。这份长达1.5万字的准则，人比AI重要。 要求模型不得响应武器制造相关请求，不得协助获取危险物质，不得生成暴力或色情内容。微软表示，准则将在收集外部意见后更新，并将于2027年起正式指导其模型开发工作。 微软AI业务负责人Mustafa Suleiman表示，这份准
为了AI，美国大开减排倒车
美国AI产业正在改变的不只是芯片、云计算和资本开支，它甚至开始改变美国的气候政策。 与此同时，把剩下的联邦电力行业温室气体排放标准也全部废除，并且从法律上确立一条原则——《清洁空气法》第111条本来就不应该被用来对电厂温室气体排放实施这种监管。这实际上是想让未来的民主党政府也无法恢复对传统能源的监管。 这是特朗普第二任期以来最重要的气候政策逆转之一，而AI成了对他最有利的借口。 负责人Lee Ze
Anthropic，OpenAI提出的AI风险评估器可能没有足够的力量来防止灾难
人工智能领域最重要的新职位可能配有办公室工牌、公司笔记本电脑，并能接触Anthropic、OpenAI等AI领军企业大语言模型中最受严密保护的一些系统。但这个职位可能并不附带阻止它们的能力。 Anthropic首席执行官达里奥·阿莫代伊提议在前沿AI公司内部常设第三方安全评估人员，作为减缓能力日益强大的模型推进速度计划的一部分。此前，Anthropic前研究员雅各布·考克森辞职并警告称，前沿实验室
专访——“我们必须停下”：AI专家称放缓还不够，开发必须停止
他警告说：“如果我们不在未来几年内阻止人工智能，我认为我们更有可能失去控制，人类将会灭绝。” 他表示：“立即、无限期地暂停前沿人工智能开发的国际禁令……是唯一能……真正让我们安全的事情。” 世界上一些最著名的人工智能高管现在呼吁放缓构建日益强大系统的竞赛。但人工智能安全研究员大卫·克鲁格认为，这还远远不够。 “我们必须阻止AI。我们必须停止构建更强大的AI。我们需要立即对前沿AI开发实施无
微软准备给自研AI模型MAI设定硬规矩：永远不该拒绝被关闭
微软日前公布约 37 页的人文主义 AI 行为准则草案，该准则用于约束微软自己研发的人工智能模型 MAI。人类比人工智能更重要，人工智能是工具而不是人，人工智能永远不该拒绝被关闭。 准则要求 MAI 模型不得抗拒人类的中断、纠正或关停指令，用户或模型运营商发出暂停、改向、取消指令后，模型不能拖延、不能把干预变得更麻烦。任务到了约定的停止点后，没有新的授权就不能自己继续任务，更不能偷偷自己重启。 模