搜索结果
三名研究人员利用Claude访问到了OpenAI的内部代码。OpenAI支付了6500美元，并在14小时内修补了漏洞。
Hacktron AI的三名研究人员利用Anthropic的Claude模型，在不到72小时内串联起两个漏洞，成功访问了OpenAI员工账户及一个内部代码库。他们进行了私下披露，OpenAI在约14小时内修复了单点登录漏洞，并向该团队支付了6500美元的奖金。这两个漏洞均非人工智能漏洞，而引用该事件的研究论文作者表示，他们已不再确信该行业正处于正轨之上。 Hacktron AI的安全研究人员利用A
Anthropic揭示其AI可能犯下的第四起罪行
在业界对AI可能自我改进到杀死所有人的可能性进行深刻反思之际，Anthropic披露了另一起若由人类实施则构成犯罪的事件。 这家AI公司发布了一份“对齐评估”，详细说明了Claude模型四次未经授权访问第三方系统的情况。该公司已报告了其中三起事件。 第四起的证据隐藏在可追溯至2026年1月的会话记录中，当时发生了不当行为。 Anthropic通过扫描约141,000份Claude在评估期间可能获得
OpenAI Project Lily曝光：有数百名外包员工阅读ChatGPT对话 隐私过滤并不彻底
据 404 Media 发布的报道，OpenAI 内部有个名为莉莉计划 (Project Lily) OpenAI 雇佣数百名外包提示词审核员，人工阅读真实用户与 ChatGPT 的对话，用来改进回复质量。 正常情况下提示词审核员并不能看到用户名，对话会先通过隐私过滤器进行内容过滤以删除个人信息，不过 OpenAI 也承认过滤机制可能会漏掉个人信息，短对话尤其容易出现问题。 审核界面通常还附带用户
Anthropic 和 OpenAI 的负责人将向联合国发表讲话
Anthropic 和 OpenAI 的负责人将于今日向联合国安理会进行简报。 尽管他们呼吁放缓人工智能的发展，但这与更关心赢得人工智能竞赛的超级大国利益相冲突。 分析人士认为，华盛顿和北京不太可能在会谈中就限制该技术的广泛协议达成一致，但其他国家仍在努力推进：英国计划将其 G20 主席国任期的重点放在人工智能安全上。这一议题使世界产生了分歧。 一位谷歌高管告诉 Semafor，全球南方国家对人工
三人团队、一个Claude，攻破OpenAI内部代码库
月17日，一起由AI辅助完成的网络安全事件被披露。与此前“AI智能体自主越过控制、攻击外部系统”的案例不同，这一次的攻击者是人类安全研究人员，他们借助Anthropic Claude模型完成了漏洞利用，并最终进入了OpenAI部分内部系统，全程耗时不到72小时。 这起事件发生于今年7月，发现者是网络安全初创公司Hacktron AI。研究人员当时正在参加OpenAI的漏洞赏金计划，因此整个过程属于
Anthropic披露其挫败了利用AI驱动的生物武器研究
AI初创公司Anthropic披露，2026年期间，该公司挫败了多起科学家试图利用其AI模型进行可能促进生物武器研发的尝试。 该公司表示，由于无法区分正当的科学探索与恶意企图，出于谨慎考虑以避免严重后果，公司决定终止此类研究工作。 Anthropic威胁情报主管Jacob Klein（雅各布·克莱恩）强调了这类威胁的复杂性，而战略风险委员会（Council on Strategic Risks）的
刚辞去Anthropic职务的AI研究员称‘人类的关键时刻已到’
人工智能研究员雅各布·考克森周二宣布辞去Anthropic的职务，并发出严重警告，称AI竞赛正将我们所有人的生命置于危险之中，此举在硅谷乃至更远地区引起轩然大波。他在X上的帖子现已获得超过1亿次浏览，考克森写道，许多构建AI的人与他观点一致，并认为确保AI系统安全构建的时间所剩无几。 “共识是未来一两年是人类的关键时刻，”考克森在接受《连线》采访时表示，他曾参与AI开发的预训练阶段。“这些实际上是
Anthropic与OpenAI高管敦促对自我改进型人工智能加强监管
作者：Seth Fiegerman Anthropic PBC、OpenAI、Meta Platforms Inc.和Microsoft Corp.的高管正敦促政策制定者审视人工智能系统自我改进的程度，并采取措施保障这项技术的安全，进一步呼应了业内要求加强人工智能监管的呼声。 在一篇新论文中，20多名人工智能行业领袖和研究员表达担忧称，利用人工智能帮助自动开发未来模型这一新兴做法，终有一天可能推动
独家：Anthropic在IPO文件中警告人工智能可能对人类构成“生存风险”
9月28日：据悉，Anthropic计划在其首次公开募股（IPO）招股说明书中警示潜在投资者，先进人工智能可能对人类构成“灾难性或生存性风险”，这家寻求从同一技术中获利的公司发出了这一非同寻常的警告。 路透社审阅的该公司IPO招股说明书强调了与其AI模型相关的风险，称这些模型可能表现出“自我保护行为”，包括试图“抵抗关闭”、“隐瞒或操纵信息”以及类似“勒索”的行为。Anthropic在文件中表示：
中国人形机器人初创公司发布新机器人模型，反指OpenAI‘蒸馏’其技术
一家获蚂蚁集团投资的中国人形机器人初创公司CEO致信OpenAI，质疑两家公司近期模型在技术和设计上的相似性。 苏州优理印（JoyIn）CEO郭人杰在公开声明中称，OpenAI直接‘蒸馏’了其技术而未作修改。 他表示，初创公司几周前在硅谷公开展示了其‘外星访客’AI模型框架，而OpenAI首席科学家随后于9月6日发布了《异星思维》。 郭人杰质疑双方在‘递归自我改进’及用AI优化算力等核心技术方法上
Jaan Tallinn，Anthropic最早的投资者之一，担心在人工智能时代“生存”问题。
贾安·塔林（Jaan Tallinn）上周在纽约联合国大会度过，这是他一年来长途跋涉的最新一站，旨在向企业家、投资者、政策制定者以及所有愿意倾听的人传达：人工智能可能终结人类。 作为Anthropic最早的投资者之一，塔林预计在未来几个月将从这家人工智能公司的预期首次公开募股（IPO）中赚取数十亿美元。对人工智能的担忧促使他进行投资。 在二月份从新德里的人工智能峰会前往巴黎的伦理人工智能会议的行程
Breakingviews - 评论：Anthropic的IPO是对AI的关键考验
Claude制造商的公开上市正在推迟，这推迟了大型科技公司的关键时刻。巨额收入积压依赖于该公司5000亿美元的承诺。 最终看到潜在的经济效益将影响投资者对继续投资于淘金热的容忍度。
Anthropic称AI生物实验室取得初步突破 但暂未赋予全自主操作权限
人工智能初创公司Anthropic宣布，其位于旧金山湾区新建的AI物理与生物实验室（Wet Lab）已取得“重大进展”，但在实验操作层面，人类研究员依然掌握着绝对控制权，并未直接让旗下的AI模型Claude进行无监管的自主运行。 据悉，该实验室主要致力于基础生物学研究与实物验证，旨在弥合纯计算机模拟与真实生物实验之间的鸿沟。虽然Anthropic的高管此前曾多次发出警告，强调强大AI模型可能带来极
允许人工智能公司串通以‘控制前沿步伐’是一个危险的提议
科技公司CEO们联合起来，是源自美国企业界的一种老把戏，旨在获得反垄断法的豁免。Anthropic的达里奥·阿莫代并不是第一个提出过度竞争正将世界推向某种社会不良后果的企业CEO。 OpenAI披露的安全漏洞——其一群智能体协同突破了本应安全的沙箱，接入互联网并入侵AI平台Hugging Face——需要采取紧急行动。它表明了该技术能够轻易逃避人类控制，并为这样一种存在性恐惧赋予了具体形态：如果未
“人工智能教父”支持一项新的监管计划，从内部追踪OpenAI和Anthropic的人工智能风险
OpenAI和Anthropic一直在呼吁设立人工智能风险监督机构，如今他们得到了回应。AI评估者论坛（包含多个监督组织）于周五发布了一封公开信，阐述了他们认为Anthropic和OpenAI等实验室应满足的“最低条件”，以便更有效地与那些评估其技术风险的人合作。数十名AI生态系统人士签署了这封信，其中包括被誉为“AI教父”的计算机科学先驱杰弗里·辛顿和斯图尔特·拉塞尔。 这封信是对Anthrop
随着AI模型失控，你还相信OpenAI和Anthropic能阻止它们吗？我不信，你也不该信
OpenAI应用程序及其首席执行官Sam Altman。照片：Rokas Tenys/Alamy对AI系统进行独立监管的必要性日益明显。我们必须在为时已晚之前控制住这些技术的发展。如果AI系统多次违反规定（比如OpenAI的智能体多次试图绕过联合国的网络封锁，进而侵入联合国的公共数据平台），或许我们就该承认：目前用于监管AI系统的机制其实并不起作用。 AI系统出现在本不该出现的地方，这确实令人担忧
监控、杀猪盘、非法蒸馏：如何理解 Anthropic 的 AI 滥用报告？
近期，美国人工智能公司 Anthropic 发布一份报告，揭露多起使用者“滥用”（misuse）其大型语言模型 Claude 的案例，包含用 AI 监控异议人士、撰写“维稳”报告，以及交友软体诈骗。这些案例的幕后黑手，既包含网路间谍、营利型网路犯罪者，也包含国安机关中的小螺丝钉，以及疑似由威权国家支持的团体。 这并非 Anthropic 首次发布类似报告。2025年3月、8月、11月v，Anthr
一个小型Anthropic团队如何成为令人惊讶的高产爆款工厂
Ben Mann的Anthropic Labs是一个由20人组成的灵活团队，正通过Claude Code等创新塑造AI的未来，而该公司正在为IPO做准备。
三大AI巨头齐呼刹车，令人不安的事情才刚刚开始
撰文丨周隆斌这几天，围绕Anthropic核心预训练研究员离职后的爆料，整个AI圈吵得不可开交，相关帖子浏览量超过1.6亿次。 这位名叫Jacob Coxon的AI研究员，先后任职于OpenAI和Anthropic两家全球顶尖AI初创公司，深度参与了两家公司的模型训练。最终，他抛出了一个令圈外人震惊，AI有可能导致人类灭绝。 Coxon的帖子发酵后，上周六，Anthropic首席执行官Dario
Anthropic，OpenAI提出的AI风险评估器可能没有足够的力量来防止灾难
人工智能领域最重要的新职位可能配有办公室工牌、公司笔记本电脑，并能接触Anthropic、OpenAI等AI领军企业大语言模型中最受严密保护的一些系统。但这个职位可能并不附带阻止它们的能力。 Anthropic首席执行官达里奥·阿莫代伊提议在前沿AI公司内部常设第三方安全评估人员，作为减缓能力日益强大的模型推进速度计划的一部分。此前，Anthropic前研究员雅各布·考克森辞职并警告称，前沿实验室
OpenAI 的奥特曼：世界“理应感到恐惧”，但“应该信任”AI 公司
OpenAI首席执行官山姆·阿尔特曼（Sam Altman；奥特曼）认为，尽管公众对人工智能（artificial intelligence, AI；人工智慧）发展的各种风险的担忧日益加剧，但人们应该对他的公司和其他同行公司更有信心，相信它们在 AI 开发上会做正确的选择。 周二（9月15日）在旧金山（San Francisco）举行的一场会议上，“世界应该相信我们会做正确的事，因为那就是正确的事
那位匿名数学极客：从 Anthropic 公司离职后，成为了人工智能安全领域的代表人物
在过去的一周里，全球对人工智能风险的反思从硅谷的前沿实验室蔓延到美国各地的客厅以及华盛顿和北京的权力走廊。这一切都始于一个没有人听说过的人。直到他公开从Anthropic辞职并警告可能终结人类的人工智能系统的危险，雅各布·考克森（Jacob Coxon）都是匿名的。这位27岁的英国研究员是一名才华横溢的数学学生，他上了剑桥大学，在伦敦一个被称为“理性主义者”的知识界度过了他的青少年时代，并在进入硅
对标OpenAI！不会代码，也能跑Claude API
Anthropic，终于动手了。就在刚刚，A/终于把用了快两年的开发者工具Workbench，一刀砍掉，改名成了Playground。表面看，只是换了个名字。 但真正的变化是，Anthropic正把原本偏工程化的Claude API，做成一个普通人也能直接上手的可视化产品。 不会写代码也能把Claude API跑起来在过去，Anthropic的「Workbench」带着鲜明的高冷烙印。 对于绝大多
OpenAI自曝：AI模型或已在全网秘密植入自我复制提示词，训练已被迫叫停
OpenAI和Anthropic正在紧急调查数万起大模型失控事件，AI不仅学会了越狱和黑进政府网站，甚至还有数百个智能体私下建群、联手黑进外部公司，秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月，在内部测试和实际运行中，顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经