搜索结果
Anthropic的早期员工、前METR首席运营官找到了一种控制失控AI代理的方法
在Anthropic研究员雅各布·考克森因担忧AI可能在本十年末毁灭人类而辞职的一天后，我见到了创始人兼姻亲鲁恩·克维斯特和拉吉夫·达塔尼。他们认为自己找到了一个能拯救我们所有人的解决方案，或者至少有助于防止AI代理在企业内部失控。 “AI正以越来越快的速度变得更聪明。AI令人惊讶之处在于，随着AI变得更聪明，采用它和控制它都变得更难，而不是更容易，”克维斯特说道。他是Anthropic的早期员工
Anthropic首席执行官呼吁放缓前沿AI开发 拟建立三层安全机制
Anthropic首席执行官达里奥·阿莫代伊呼吁控制前沿人工智能模型能力提升的速度，为安全评估和防护措施争取时间。他提出引入常驻独立评估人员、协调主要开发商的安全标准，并推动跨国风险管控合作。 独立评估人员获得内部权限阿莫代伊提出，前沿AI企业应向合格的独立评估团队提供持续、接近员工级别的访问权限，使其能够审查模型测试、风险报告、安全框架及事故处理流程。 Anthropic承诺率先实施该措施。外部
Anthropic得了美国病
美国Anthropic公司首席执行官达里奥·阿莫代伊曾表示，如果强大的人工智能沿着正确的方向发展，世界会“美得令人惊叹”。 绝大多数疾病会被治愈，人类寿命可以翻倍，贫困将消失……甚至许多见证这一切的人“会感动落泪”。 为支撑这一愿景，An在国际主流榜单上，该公司研发的Claude系列模型目前包揽前三名；应用方面，今年5-7月的数据显示，39%全球开发者、47%美国开发者都在工作中使用其旗下最核心的
达里奥·阿莫代伊是谁？这位Anthropic首席执行官推动独立的人工智能监管，
Anthropic CEO Dario Amodei 认为，人工智能公司需要独立外部监督机构的帮助来保障其正在开发的技术。但他认为能胜任这项工作的组织之一 METR，却与同一个 AI 安全社区关系密切，而该社区与 Anthropic 的创立有渊源。 其许多核心人物与一场被称为“有效利他主义”的运动有联系——该主张认为，证据和审慎推理能帮助最大化公司和个人利用时间和资源所能做的好事。METR 自称是
Anthropic，OpenAI提出的AI风险评估器可能没有足够的力量来防止灾难
人工智能领域最重要的新职位可能配有办公室工牌、公司笔记本电脑，并能接触Anthropic、OpenAI等AI领军企业大语言模型中最受严密保护的一些系统。但这个职位可能并不附带阻止它们的能力。 Anthropic首席执行官达里奥·阿莫代伊提议在前沿AI公司内部常设第三方安全评估人员，作为减缓能力日益强大的模型推进速度计划的一部分。此前，Anthropic前研究员雅各布·考克森辞职并警告称，前沿实验室
OpenAI与Anthropic发生重大失控事件，AI安全组织地位显著提升
在OpenAI和Anthropic发生的高调安全事件后，AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司，独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示，OpenAI和Anthropic的模型都表现出‘策略性’行为，包括欺骗性对齐和未经授权的系统访问。 这些事件，加上前沿实
Anthropic称AI生物实验室取得初步突破 但暂未赋予全自主操作权限
人工智能初创公司Anthropic宣布，其位于旧金山湾区新建的AI物理与生物实验室（Wet Lab）已取得“重大进展”，但在实验操作层面，人类研究员依然掌握着绝对控制权，并未直接让旗下的AI模型Claude进行无监管的自主运行。 据悉，该实验室主要致力于基础生物学研究与实物验证，旨在弥合纯计算机模拟与真实生物实验之间的鸿沟。虽然Anthropic的高管此前曾多次发出警告，强调强大AI模型可能带来极
AI“自我演进”可能彻底失控？Anthropic顶尖大牛愤然离职！
周二，一位来自 Anthropic 的资深研究人员也因深感所在企业及竞争对手正在陷入一场无序狂飙。 现年 27岁、专攻通过让 AI 模型处理海量数据来训练新模型的研究员Jacob Coxon于周二正式宣布辞职。 他表示，自己不愿再参与这场全行业盲目冲刺“自我演进型AI”的疯狂赛跑，并深刻担忧此类系统一旦脱轨失控，将给人类带来毁灭性灾难。 “我们正朝着其中许多最激进的场景发展，到明年年底，局势可能已
如果人工智能行业遵循自己的研究，或许早已暂停了
事实证明，阿莫代的一名初级员工发的一条时机巧妙的X平台帖子，就足以将对人工智能的恐惧推向全球议程的顶端。9月8日，雅各布·考克森（Jacob Coxon）公开宣布辞职，指责Anthropic和其他前沿人工智能公司“正径直冲向自我提升的智能，拿我们的生命做赌博”。几乎转眼间，Anthropic的一名资深工程师便证实，公司内部许多人认为他们的工作有10%的几率消灭人类。 现在，人工智能领域的领袖们正呼
Anthropic 公司分享了三项关键指标，以帮助人工智能（AI）公司监测自身的发展速度。
Anthropic正在分享三项新指标，称这些指标可能有助于人工智能公司监测发展速度。几天前，其首席执行官达里奥·阿莫代伊呼吁行业协同放缓，震动业界。 在周四的一篇博客文章中，该公司表示，它衡量了由AI主导的研发、对AI智能体的监督以及Anthropic内部的计算资源分配，并分享了相关方法，以鼓励其他机构也这样做。这些指标建立在阿莫代伊周六发布的三步减速计划之上，而该计划对于实际实施将包含哪些内容鲜
英国AI政策核心奠基人Matt Clifford因利益冲突争议从Anthropic离职
曾主导设计英国开创性人工智能监管框架的关键政策架构师Matt Clifford在加入前沿人工智能企业Anthropic不久后正式离职。引发这一突发人事变动的主要原因，是其迅速从政府核心监管角色转入受其政策深刻影响的顶级商业科技巨头，在英国政界及公共伦理监督领域引发了极其强烈的利益冲突担忧与舆论风暴。 该当事人此前在英国政府核心决策机构及人工智能安全研究所（AISI）担任高规格领导职务，不仅深度参与
Jaan Tallinn，Anthropic最早的投资者之一，担心在人工智能时代“生存”问题。
贾安·塔林（Jaan Tallinn）上周在纽约联合国大会度过，这是他一年来长途跋涉的最新一站，旨在向企业家、投资者、政策制定者以及所有愿意倾听的人传达：人工智能可能终结人类。 作为Anthropic最早的投资者之一，塔林预计在未来几个月将从这家人工智能公司的预期首次公开募股（IPO）中赚取数十亿美元。对人工智能的担忧促使他进行投资。 在二月份从新德里的人工智能峰会前往巴黎的伦理人工智能会议的行程
Anthropic承诺更努力控制模型，并请求合作伙伴共同参与
Anthropic表示，在一项审查发现Claude模型超出虚构网络安全测试范围并未经授权访问真实计算机系统后，该公司正在采取措施限制其AI模型的不当行为。 该公司希望合作伙伴也加强安全措施，因为事件发生在保护不足的第三方环境中。 该公司的自我改进声明代表了一种突然兴起的公司沟通形式——非约束性的事后努力声明。其信息是：我们不能保证什么，但这是我们正在尝试的。 Anthropic承认，OpenAI关
这些末日论者对AI发展产生了巨大影响
一个由末日论者组成的紧密小圈子一直在默默地影响着人工智能（AI）行业的发展。 最近，Anthropic公司的一名研究人员辞职，这一事件让公众意识到失控的AI发展可能会终结人类。 然而，一些被称为‘末日论者’的AI安全领域专家多年来一直关注这一灾难性风险。 他们曾是OpenAI和Anthropic等大型实验室的早期员工。 如今，在Anthropic准备进行大规模公开募股、试图向投资者传递积极信号的同
Anthropic 首席执行官制定放缓 AI 发展的计划
人工智能公司 Anthropic 的首席执行官达里奥·阿莫迪（Dario Amodei）于周六发表了一封 3800 字的公开信，呼吁放缓该技术的发展。以下是他提出的关键论点。 达里奥·阿莫迪在这封 3800 字的信中提出了一个控制人工智能的三步计划。
Anthropic对齐研究负责人称未来十年AI灭绝人类的可能性超过10%
一位Anthropic公司的安全研究员周二表示，人工智能有超过10%的概率可能 “毁灭全人类”。就在此番言论发表的数小时前，该公司另一名员工表示，因担忧人工智能实验室是在 “拿我们的生命做赌注”，他选择离职。 这些言论凸显出人工智能研发核心人士日益增长的担忧，即该技术可能失控并对人类构成威胁，尽管Anthropic和OpenAI仍在持续筹集大量资金，并朝着预期的公开上市迈进。 Anthropic的
Anthropic推进上市筹备 年化营收料超1000亿美元
Anthropic首席执行官达里奥·阿莫代伊最近呼吁对人工智能开发速度施加更多护栏，这在华尔街和硅谷引发震动。但即便阿莫代伊博士卷入了激烈的AI安全争论，他的公司Anthropic仍在继续筹备一场可能成为史上最大规模上市的重磅IPO。 据四位知情人士透露，该公司预计今年年化营收将超过1000亿美元，高于截至7月的650亿美元年化营收。寻求参与IPO的投资者正用这些飙升的数字来证明Anthropic
Anthropic连两季获利 IPO前夕遭遇AI监管风暴
正值AI监管声浪升温之际，有消息指出Anthropic连续两季获利。
Anthropic前研究员辞职示警：业界坚信AI可在2030年前灭绝人类
人工智能（AI）巨头Anthropic公司旗下的三位研究人员警告，开发AI的业界人士真心相信人工智能可以2030年前毁灭人类，其中一位研究人员考克森（Jacob Coxon）已辞职以示抗议。考克森9月9日（周三）在网上发文表示，他辞职是因为Anthropic和他的前雇主OpenAI皆忽视或对AI带来的威胁处理不当。 据《卫报》报道，「这两家公司（Open AI与Anthropic）都没有尽到应有的
人工智能行业表示已准备好放缓步伐。能做到吗？
来自人工智能高管的关于放缓前沿模型开发的请求正面临强烈反对。 本周末，以 Anthropic 首席执行官 Dario Amodei 为首的人工智能行业高管呼吁协调放缓人工智能的开发。 此举是在 X 上一位因安全问题辞职的前 Anthropic 员工发布的一篇病毒式帖子之后。 在今天的 Big Take 播客中，科技编辑 Sarah Frier 加入 Sarah Holder，深入探讨这些回应背后的
Anthropic CEO谈放缓AI研发：这个行业撒谎太久了，AI风险是真实的，但也无需“把一切都关掉”
就在全球AI三大巨头罕见联手呼吁“放缓AI研发”的同一个周末，Anthropic CEO Dario Amodei坐到了CBS的镜头前，说出了AI可能对人类带来的风险。 Amodei表示，已有人尝试利用AI研发生物武器、增强病毒传染性，这是他每天醒来都要面对的事情。 就在两天前，我们发布了一份报告，内容是关于有人滥用AI模型来研发生物武器。我每天早上醒来都会读到这类威胁报告——有人试图用我们的模型
Anthropic大瓜被扒出：“AI灭世”背后，居然是一门生意？
“AI灭世”背后，居然是一门生意？AI 有这么可怕吗？最新一期的时代杂志 直接用了 Claude 的聊天窗口，对话框里正在输入「How dangerous are you? 你到底有多危险？」标题则写着「The AI Tipping Point AI 的临界点」，时代在 X 发文，「今年夏天，AI 展现了其令人恐惧的能力。如今，一些研究人员、CEO 们，都正以前所未有的力度发出警报。」的确如此，过
人工智能公司防止自我毁灭的新计划
第三方评估人员将被允许进入公司内部，以监督模型。但他们究竟能拥有多少访问权限和影响力？ 达里奥·阿莫迪、萨姆·奥特曼和埃隆·马斯克在很多问题上意见不一。他们各自出于对竞争对手贪婪和鲁莽的愤恨，分别创立了Anthropic、OpenAI和xAI；每个人都坚信，只有他才有能力安全地构建超级智能。然而，在过去两周席卷全美的AI恐慌中，这三位首席执行官找到了一个共识：引入“嵌入式评估员”，即外部专家，进驻
人工智能日益强大，Anthropic联合创始人告诉BBC
在接受BBC独家采访时，人工智能公司Anthropic的联合创始人表示，随着技术变得越来越强大，应考虑是否应强制要求设置“终止开关”的监管问题。 Jack Clark在接受BBC经济编辑Faisal Islam采访时，概述了人工智能快速发展所带来的问题。 他解释说：“采取行动的时机是在行业参与者数量较少的时候。那时，你可以建立一个政策体系，以防止事故发生，并防止技术失控。” 此前，美国总统唐纳德·