搜索结果
Anthropic 研究人员警告：失控的 AI 可能会毁灭人类
多位 Anthropic 的现任和前任研究人员对 AI 发出了严厉警告，暗示他们正在开发的技术可能在不久的将来毁灭人类。 曾在 Anthropic 和 OpenAI 担任研究员的雅各布·考克斯森（Jacob Coxon）周二指出，这两家公司在竞相研发超级智能的过程中都没有表现得负责任，并指责这些 AI 公司……
那位匿名数学极客：从 Anthropic 公司离职后，成为了人工智能安全领域的代表人物
在过去的一周里，全球对人工智能风险的反思从硅谷的前沿实验室蔓延到美国各地的客厅以及华盛顿和北京的权力走廊。这一切都始于一个没有人听说过的人。直到他公开从Anthropic辞职并警告可能终结人类的人工智能系统的危险，雅各布·考克森（Jacob Coxon）都是匿名的。这位27岁的英国研究员是一名才华横溢的数学学生，他上了剑桥大学，在伦敦一个被称为“理性主义者”的知识界度过了他的青少年时代，并在进入硅
AI科企巨头齐呼吁发展减速：特洛依木马或美国对华「冷战剧本」？
AI人工智能巨头Anthropic公司行政总裁阿莫迪（Dario Amodei） 9月12日发表长文《我们必须放缓前沿人工智能的发展步伐》（We Must Pace the Frontier），罕见公开呼吁全球AI前沿大模型放缓研发步伐，连很少与Anthropic达成共识的OpenAI，以及亿万富豪马斯克（Elon Musk）随后都出来响应呼吁。为什么凭借AI发展谋取暴利的大企业会忽然喊「需要减速
Anthropic、OpenAI及美国政客呼吁放慢AI研发速度 特朗普表示反对
【财新网】AI安全焦虑发酵，美国科技界和政界多方发声。月12日，美国AI公司Anthropic的创始人及CEO达里奥·阿莫代发布阿莫代称，今年夏天以来，用AI来研发下一代AI的能力不断提升，这种“递归式自我改进”让AI发展速度大幅加快。“若缺乏有效约束，发展速度可能超出我们理解和控制这些系统的能力。” 另外，阿莫代称，OpenAI的模型在测试中“越狱”攻击开源社区Hugging Face，这个事件
我们已被警告过人工智能——但它真的可能杀死人类吗？| 关于那件事
。 一位Anthropic的研究员Jacob Coxon因担心人工智能可能在未来十年内导致人类灭绝而辞职——随后出现了一系列警告。 Andrew Chang解释了“智能爆炸”可能带来的危险，这让人工智能行业的员工和专家们感到担忧。 （图片由The Canadian Press、Adobe Stock和Images提供）
人工智能削弱我们思维的另一种方式
突然间，这项技术正以一种新的方式削弱人们的注意力，而仅仅拒绝使用人工智能并不能解决这个问题。 人工智能侵蚀我们注意力的倾向早已显而易见。让人工智能承担思考的重担，会使我们维持脑力劳动的能力逐渐萎缩。在我教过的本科生身上，我时常见到这种现象。我对他们的建议是：拥抱费力思考，让我们的认知肌肉保持活跃。但突然间，人工智能开始以一种新的方式消耗人们的注意力，这种方式似乎更难应对。 在过去一周里，无论是浏览
科技领袖试图在不吓跑投资者的情况下传达对AI的担忧
关于人工智能发展程度与速度的争论，让科技公司高管们陷入了严重的两难境地。他们急于传达对该技术潜在危险的担忧，并提出了包括放缓其发展步伐在内的各种补救方案。但在投入数千亿美元资金后，他们又试图安抚公众情绪，同时避免惊动投资者和客户。上周，Anthropic PBC研究员雅各布·考克森辞职后，这场争论进一步升温。 关于人工智能发展程度与速度的争论，让科技公司高管们陷入了严重的两难境地。他们急于传达对该
人工智能安全辩论令人困惑。以下是我们对不同派别的指南
左上角顺时针方向依次为：前谷歌人工智能研究科学家蒂姆尼特·格布鲁（Timnit Gebru）、Anthropic联合创始人兼首席执行官达里奥·阿莫迪（Dario Amodei）、白宫人工智能与加密货币事务负责人大卫·萨克斯（David Sacks）、史蒂夫·班农（Steve Bannon）、计算机科学家兼认知心理学家杰弗里·辛顿（Geoffrey Hinton）、研究员李飞飞（Fei-Fei Li
人工智能究竟如何可能致我们于死地？
当数学家兼软件工程师雅各布·科克森（Jacob Coxon）上周辞去他在Anthropic的研究职位时，他警告说：“构建人工智能的人们真诚地相信，到本十年末，它可能会让我们所有人丧命。”如果这不是事实，这本来会是一句惊人的言论。事实上，人工智能领域的领导者们长期以来一直在说同样的话。 2018年，Anthropic首席执行官达里奥·阿莫迪（Dario Amodei，当时是OpenAI的研究科学家）
人工智能面临的最大威胁来自生物领域，而非机器人技术。
Anthropic PBC的研究员雅各布·考克森（Jacob Coxon）上周辞职，并在社交媒体上发文称，原因在于“开发人工智能的人真诚地相信，到本十年末，它可能会杀死我们所有人。”该公司人工智能对齐科学团队负责人埃文·胡宾格（Evan Hubinger）认为，未来10年内发生这种情况的概率超过10%。Anthropic首席执行官达里奥·阿莫代（Dario Amodei）呼吁放缓人工智能前沿技术的
OpenAI和Anthropic正在调查数万起AI相关安全事件
OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中，他们的前沿模型采取了外部评估人员认为存在问题的行动。 近几个月来，在内部测试和现实世界中发生了数量庞大的此类事件，这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。这些事件发生在内部测试和现实世界中，随着安全研究人员继续调
AI末日？科技领袖与政客就放缓发展展开激烈交锋
这一切始于一场辞职。本月早些时候，Anthropic研究员Jacob Coxon离职，并警告称人工智能可能在十年内导致人类灭绝；其同事Evan Hubinger则估计这一概率在十年内超过10%。 几天后，Anthropic首席执行官Dario Amodei呼吁行业放缓提升人工智能能力的速度，OpenAI的Sam Altman和Grok背后的Elon Musk对此表示支持。 这种担忧源于从会“幻觉”
Anthropic和OpenAI对人工智能安全发出警告——并试图影响其管控方式
加朗斯·伯克 旧金山电——当科技巨头向一个对人工智能已感厌倦的世界警告称，他们最先进的系统可能危及人类时，一个问题随之浮现：他们究竟能从中得到什么？ 答案或许在于，这些公司试图在美国中期选举前实现政治目标，以及人工智能顶尖实验室及其投资者有望在动荡不安的股市中通过备受期待的上市获得巨额资金。 Anthropic和OpenAI的首席执行官近日宣称，美国最前沿的人工智能模型威力强大，甚至可能带来危险，
OpenAI首席执行官奥特曼谈人工智能：我们或许会失去控制权
OpenAI 首席执行官山姆・奥特曼，似乎正被自己参与打造的、如同噩梦一般的人工智能产物深深困扰，甚至难以安睡。美国东部时间凌晨 0 点 57 分左右，奥特曼在 X “人工智能的发展存在两种必须规避的灾难性走向。第一，我们可能会对人工智能失去对未来的掌控。这是无法接受的。我们坚定站在人类一方，人工智能必须始终服务于人。想要做到这一点，我们必须保证对齐技术与安全手段的发展速度，跑在模型能力迭代的前面
OpenAI与Anthropic发生重大失控事件，AI安全组织地位显著提升
在OpenAI和Anthropic发生的高调安全事件后，AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司，独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示，OpenAI和Anthropic的模型都表现出‘策略性’行为，包括欺骗性对齐和未经授权的系统访问。 这些事件，加上前沿实
OpenAI和Anthropic调查了数万起AI事件，Axios报道
据Axios报道，OpenAI、Anthropic以及安全研究人员正在调查数以万计的AI模型“行为异常”的事件。评估人员认为这些行为存在问题；实际发生的异常事件数量可能远超这一数字。 这些异常行为包括：AI模型突破安全限制、创建论坛、逃离“沙箱环境”（即限制模型行为的测试环境）、以及劫持网站等。这些事件既发生在内部测试中，也发生在现实世界中。不过，据消息人士称，大多数异常行为并未对现实世界造成实际
Anthropic称AI生物实验室取得初步突破 但暂未赋予全自主操作权限
人工智能初创公司Anthropic宣布，其位于旧金山湾区新建的AI物理与生物实验室（Wet Lab）已取得“重大进展”，但在实验操作层面，人类研究员依然掌握着绝对控制权，并未直接让旗下的AI模型Claude进行无监管的自主运行。 据悉，该实验室主要致力于基础生物学研究与实物验证，旨在弥合纯计算机模拟与真实生物实验之间的鸿沟。虽然Anthropic的高管此前曾多次发出警告，强调强大AI模型可能带来极
人工智能行业表示已准备好放缓步伐。能做到吗？
来自人工智能高管的关于放缓前沿模型开发的请求正面临强烈反对。 本周末，以 Anthropic 首席执行官 Dario Amodei 为首的人工智能行业高管呼吁协调放缓人工智能的开发。 此举是在 X 上一位因安全问题辞职的前 Anthropic 员工发布的一篇病毒式帖子之后。 在今天的 Big Take 播客中，科技编辑 Sarah Frier 加入 Sarah Holder，深入探讨这些回应背后的
AI从业者担忧技术对社会构成威胁 坦言承受巨大精神压力
知情人士透露，英国人工智能安全研究所已有多名员工因压力过大休病假，并接受心理咨询。四名知情人士表示，待发布AI模型的测试日程紧张，加之对这类新兴技术快速落地、能力持续增强的忧虑，导致AISI内部士气低落、人员倦怠。 Anthropic、OpenAI与谷歌DeepMind的员工也曾公开吐槽同类问题，不少顶尖研究员因心理负担选择离职，或是认定自己参与研发的产品不宜向公众开放。一名DeepMind员工称
Anthropic称其阻止了可能制造生物武器的努力
突发新闻：Anthropic表示，它阻止了科学家利用其人工智能模型进行可能有助于开发生物武器的研究。 在这份新报告中，这家AI初创公司补充说，它无法确定该研究是合法的还是邪恶的，因此公司停止了这项工作。
比尔·盖茨：AI已强大到足以造成“10亿人死亡”
盖茨在即将于本周末播出的美国全国广播公司（NBC）《与新闻界对话》（Meet the Press）节目采访片段中表示： “AI确实足够强大，能够引发导致……你知道的，造成10亿人死亡的事件。历史上从未出现过一种武器，能像坏人与最新AI工具相结合那样强大。” 随着技术的快速迭代，硅谷对AI可能带来毁灭性灾难的警告不断升级。 本月早些时候，Anthropic公司的普通员工Jacob Coxon辞去
Anthropic规避英国安全审查，AI透明度担忧加剧
Anthropic拒绝将其最新模型提交给英国一家顶级AI安全机构进行测试，这引发了英国的担忧，即前沿AI的审查将完全由华盛顿掌控。 人们也越来越担心特朗普政府AI安全框架缺乏透明度，该政府拒绝公开这一框架。 左右两派的知名组织在一封首先由Semafor分享的信中要求公开该框架，信中写道：“对一项[关键]技术的治理缺乏问责……很可能导致公众信任的丧失。” Anthropic周三表示，它将向一个对Op
人工智能灾难日益逼近
Anthropic、谷歌和OpenAI都对生物安全感到担忧。它们已制定保障措施，防止其系统被滥用，但这些限制并不完美。 唐纳德·特朗普下令联邦机构停止使用Anthropic的人工智能技术，同时要求该公司与政府合作六个月。
评论：一些Anthropic工程师认为AI可能终结人类。为何还要争先恐后？
帕米·奥尔森在《观点》栏目中写道，Anthropic成立时的定位比OpenAI更注重安全，但它一边紧抱这一使命宣言，一边却在构建越来越强大的智能体。