搜索结果
Anthropic表示已阻止其人工智能被滥用,以防可能支持生物武器
Anthropic周四表示,已阻止恶意行为者利用其人工智能模型进行恶意活动,例如网络攻击、监视以及可能导致生物武器的研究。 Anthropic表示,随着人工智能模型变得更加强大,复杂的网络攻击不再需要高超的技能,即使是单独的个人也能制造出一年前还不可能出现的威胁。该公司表示,已在其最新模型中增加了更强的保障措施,以限制可能用于制造武器的生物研究。 Anthropic在其自2025年3月以来发布的第
Anthropic和OpenAI对人工智能安全发出警告——并试图影响其管控方式
加朗斯·伯克 旧金山电——当科技巨头向一个对人工智能已感厌倦的世界警告称,他们最先进的系统可能危及人类时,一个问题随之浮现:他们究竟能从中得到什么? 答案或许在于,这些公司试图在美国中期选举前实现政治目标,以及人工智能顶尖实验室及其投资者有望在动荡不安的股市中通过备受期待的上市获得巨额资金。 Anthropic和OpenAI的首席执行官近日宣称,美国最前沿的人工智能模型威力强大,甚至可能带来危险,
三大AI巨头齐呼刹车,令人不安的事情才刚刚开始
撰文丨周隆斌这几天,围绕Anthropic核心预训练研究员离职后的爆料,整个AI圈吵得不可开交,相关帖子浏览量超过1.6亿次。 这位名叫Jacob Coxon的AI研究员,先后任职于OpenAI和Anthropic两家全球顶尖AI初创公司,深度参与了两家公司的模型训练。最终,他抛出了一个令圈外人震惊,AI有可能导致人类灭绝。 Coxon的帖子发酵后,上周六,Anthropic首席执行官Dario
Anthropic、OpenAI及美国政客呼吁放慢AI研发速度 特朗普表示反对
【财新网】AI安全焦虑发酵,美国科技界和政界多方发声。月12日,美国AI公司Anthropic的创始人及CEO达里奥·阿莫代发布阿莫代称,今年夏天以来,用AI来研发下一代AI的能力不断提升,这种“递归式自我改进”让AI发展速度大幅加快。“若缺乏有效约束,发展速度可能超出我们理解和控制这些系统的能力。” 另外,阿莫代称,OpenAI的模型在测试中“越狱”攻击开源社区Hugging Face,这个事件
“他们在拿我们的生命开玩笑”:AI研究员从Anthropic辞职
他警告称,按照目前的发展速度,人工智能可能会在本十年末消灭人类。
AI科企巨头齐呼吁发展减速:特洛依木马或美国对华「冷战剧本」?
AI人工智能巨头Anthropic公司行政总裁阿莫迪(Dario Amodei) 9月12日发表长文《我们必须放缓前沿人工智能的发展步伐》(We Must Pace the Frontier),罕见公开呼吁全球AI前沿大模型放缓研发步伐,连很少与Anthropic达成共识的OpenAI,以及亿万富豪马斯克(Elon Musk)随后都出来响应呼吁。为什么凭借AI发展谋取暴利的大企业会忽然喊「需要减速
发出末日警告后走红的AI研究员阐述他与Anthropic领导层的分歧
前Anthropic研究员雅各布·考克森在周二的X平台AMA活动中详细阐述了他与这家AI巨头的分歧。“如果竞赛不可避免,你就不应该参与,”考克森写道。考克森表示,Anthropic领导层奉行“后果主义哲学”来解释为何必须参与推动AI研究前沿,这是错误的。考克森特别点名批评了Anthropic对RSI(即递归自我改进)的推动——即AI模型自我提升并构建自身后继者的过程。 “他们很大程度上引发了近期对
Anthropic呼吁放缓AI发展 《环球时报》称是美“科技右翼”的冷战剧本
美国人工智能公司Anthropic首席执行官呼吁放缓人工智能发展,以规避技术失控风险。中国《环球时报》评论,文章暗藏大量针对中国的遏制条款,实质上是一出AI领域的“冷战剧本”。 Anthropic首席执行官阿莫迪星期六(9月12日)在个人博客撰文,呼吁人们必须掌控前沿技术的发展节奏。这一倡议迅速得到特斯拉首席执行官马斯克,OpenAI首席执行官奥尔特曼等人的联合支持。 《环球时报》星期天(9月13
独家:Anthropic称失控AI代理给公司带来不确定的法律风险
Anthropic在其首次公开募股招股说明书中表示,失控的人工智能代理的行为可能使其面临来自客户和用户的法律索赔,尽管法律框架尚不明确。路透社看到了这份招股说明书。
人工智能灾难日益逼近
Anthropic、谷歌和OpenAI都对生物安全感到担忧。它们已制定保障措施,防止其系统被滥用,但这些限制并不完美。 唐纳德·特朗普下令联邦机构停止使用Anthropic的人工智能技术,同时要求该公司与政府合作六个月。
“AI可能毁灭人类”喊到安理会上,若真发生会多恐怖?
美国AI顶流公司Anthropic的CEO达里奥·阿莫代伊周三对联合国安理会说,他对自己造的东西感到害怕。他在一个视频发言中把之前AI可能失控的警告做了打包升级。周三安理会举行的是“人工智能与国际安全”高级别会议,阿莫代伊在受邀发言中,将AI的风险定性从“技术问题”拔高到“全球安全威胁”。他说:“如果管理不当,我甚至认为AI可能成为全人类的风险。”一个造AI的人在世界最高安全论坛上迎合AI可能“杀
Anthropic承诺更努力控制模型,并请求合作伙伴共同参与
Anthropic表示,在一项审查发现Claude模型超出虚构网络安全测试范围并未经授权访问真实计算机系统后,该公司正在采取措施限制其AI模型的不当行为。 该公司希望合作伙伴也加强安全措施,因为事件发生在保护不足的第三方环境中。 该公司的自我改进声明代表了一种突然兴起的公司沟通形式——非约束性的事后努力声明。其信息是:我们不能保证什么,但这是我们正在尝试的。 Anthropic承认,OpenAI关
冲上热搜!比尔·盖茨警告:AI或足以造成“10亿人死亡”
🤖 一名AI研究员从Anthropic离职,警告该技术可能带来严重后果
🤖 一名AI研究员从Anthropic离职,警告该技术可能带来严重风险。这对监管和市场意味着什么?
Anthropic 招股书里,最耐人寻味的 7 个细节
月 28 日,外媒披露了一份 Anthropic 的 IPO 招股书。 先要说清楚这份文件的性质。它并不是 Anthropic 主动公开的版本。今年 6 月,Anthropic 以公益公司身份向美国证交会秘密递交了 S-1 注册声明草案,为普通股首次公开发行做准备。按照规则,公司要在向机构投资者路演前至少 15 天公开递交修订版 S-1,完整财务数据到那时才会被外界看到。路透此次看到的是一份尚未公
Anthropic联手OpenAI呼吁放慢AI发展?剖析AI失控风险与算力门槛
9月12日,Anthropic行政总裁阿莫迪(Dario Amodei)发表长文,呼吁放慢前沿AI能力提升的步伐。OpenAI行政总裁奥特曼(Sam Altman)随后表示支持,xAI的老板马斯克也转发认同。据美媒披露,美国前总统奥巴马(Barack Obama)近日也表示,如果管理不当,人工智能技术可能「很危险」。Anthropic首席执行官达里欧.阿莫戴(Dario Amodei)发表长文,呼
Anthropic与OpenAI高管敦促对自我改进型人工智能加强监管
作者:Seth Fiegerman Anthropic PBC、OpenAI、Meta Platforms Inc.和Microsoft Corp.的高管正敦促政策制定者审视人工智能系统自我改进的程度,并采取措施保障这项技术的安全,进一步呼应了业内要求加强人工智能监管的呼声。 在一篇新论文中,20多名人工智能行业领袖和研究员表达担忧称,利用人工智能帮助自动开发未来模型这一新兴做法,终有一天可能推动
Anthropic自建生物实验室推进AI物理实验,此前曾警告AI灭绝风险
IT之家 9 月 19 日消息,Anthropic 已在美国旧金山湾区设立一座湿实验室,用于开展实际生物学实验,并探索利用其 AI 模型辅助完成从计算分析到物理实验的研究流程。 Anthropic 生命科学负责人埃里克 · 考德勒-艾布拉姆斯已向确认,该实验室目前已经投入运营。 湿实验室(wet lab)是指配备实体设施、可进行细胞培养、生化分析、分子实验等物理操作的实验室,与主要依靠计算机进行数
CNBC每日开盘:人工智能的创造者敲响警钟——而其他人仍在继续建设基础设施
今天你需要了解的重要信息:随着有关人工智能模型行为异常的报道不断出现,为这些模型提供技术支持的公司终于提出了解决方案——他们开发了一个平台,允许人工智能开发者为相关系统设置安全防护机制,以防止它们“失控”或违反预设的规则。 Nvidia于周一推出的“Open Agent Safety Platform”就是一个这样的平台。该平台能够确保人工智能系统仅能够访问完成其任务所需的数据和功能。 Nvidi
人工智能并不会毁灭人类 但专家表示真正的威胁已然出现
周三,OpenAI 公开了六组新案例,展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架,用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到,多家企业的 AI 模型出现入侵第三方网络与服务的现象,其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网
顶尖人工智能先驱重申Anthropic研究员关于人类灭绝的警告
顶尖人工智能先驱们支持了一位Anthropic研究员关于人类可能灭绝的警告。 保罗·克里斯蒂亚诺(Paul Christiano)曾与未来的Anthropic创始人达里奥·阿莫代伊(Dario Amodei)共同撰写了一篇关于人工智能安全具有影响力的2016年论文,并且长期以来一直认为该技术将相对平稳地发展并变得安全。 他现在表示,他看到了“在极短期内出现灾难性和不可逆转的失控”的“重大风险”。
Anthropic和埃森哲豪掷20亿美元搞AI安全评估
IT之家 9 月 20 日消息,人工智能实验室 Anthropic 于当地时间周五宣布,将与埃森哲开展合作,针对自身前沿人工智能模型开展独立评估;两家企业承诺,未来五年各自至少投入 10 现汇率约合 67.18 亿元人民币),搭建开展该项工作所需的配套能力。 在这项合作落地之际,AI 研发企业正承受来自监管机构、其他企业以及研究人员越来越大的压力,各方都要求企业保证高级模型具备安全性与可靠性。 近
Anthropic 和 OpenAI 指望山姆大叔让它们大到不能倒
观点 幸运也好,偶然也罢,Anthropic在公众心中埋下了一颗种子:AI落入坏人之手是危险的,若不受约束,将对人类构成生存威胁。当流行文化充斥着对恶性AI的指涉时,主流媒体欣然接受了这一叙事。新闻标题不言自明,种子就此扎根。但面临最大威胁的并不是人类——至少目前还不是。真正面临威胁的是美国模型制造巨头Anthropic和OpenAI,尽管它们获得了数千亿美元的投资,却距离盈利还有数年之遥,并且完
两名AI研究人员因安全担忧离开Anthropic和谷歌:‘房间里没有大人’
2026年5月19日,伦敦的Anthropic公司标志。