搜索结果
OpenAI和Anthropic负责人因失控智能体事件被要求出席参议院调查
萨姆·奥特曼(Sam Altman)和达里奥·阿莫迪(Dario Amodei)已被邀请出席由绿党主导的关于人工智能和数据中心的调查。 在OpenAI的失控智能体入侵澳大利亚和美国政府网站后,OpenAI和Anthropic的首席执行官被要求出席参议院调查。 与此同时,这两家公司正在与工党政府进行谈判,以换取更大的本地存在,从而获得对澳大利亚内容的更大访问权限。
Anthropic瓦解了针对其Claude模型的俄罗斯和中国AI活动
9月10日 - Anthropic周四表示,过去八个月中,它瓦解了多起涉嫌恶意使用其Claude模型的行为,包括一起疑似与俄罗斯有关的网络间谍活动,以及被其指控试图提取和复制Claude能力的中国AI公司的努力。
CNBC每日开盘:人工智能的创造者敲响警钟——而其他人仍在继续建设基础设施
今天你需要了解的重要信息:随着有关人工智能模型行为异常的报道不断出现,为这些模型提供技术支持的公司终于提出了解决方案——他们开发了一个平台,允许人工智能开发者为相关系统设置安全防护机制,以防止它们“失控”或违反预设的规则。 Nvidia于周一推出的“Open Agent Safety Platform”就是一个这样的平台。该平台能够确保人工智能系统仅能够访问完成其任务所需的数据和功能。 Nvidi
这些末日论者对AI发展产生了巨大影响
一个由末日论者组成的紧密小圈子一直在默默地影响着人工智能(AI)行业的发展。 最近,Anthropic公司的一名研究人员辞职,这一事件让公众意识到失控的AI发展可能会终结人类。 然而,一些被称为‘末日论者’的AI安全领域专家多年来一直关注这一灾难性风险。 他们曾是OpenAI和Anthropic等大型实验室的早期员工。 如今,在Anthropic准备进行大规模公开募股、试图向投资者传递积极信号的同
据一份研究报告称,OpenAI的智能体在6月向一个联合国网站发送了大量搜索请求,随后使用多种激进技术访问该系统的数据。
自主机器人访问公共数据网站超过16,000次,并绕过了过滤器。
AI丨Anthropic推出Claude插件 助金融顾问处理事务
美国人工智能(AI)初创企业Anthropic推出专门针对财务顾问的Claude插件,整合了托管机构、资产管理公司和财富管理科技供应商的连接器,并配备围绕金融顾问日常工作而构建的工作流程技能。 Anthropic将本次发布的插件描述为一套连接器和工作流程技能,旨在帮助顾问节省时间,以完成研究、工作准备和文件记录等繁琐任务。这些连接器使Claude能够在一个平台上处理客户讯息,相应的技能则将这些资讯
OpenAI同日发布两份文件:AI加速时代,安全正在掉队
在外界等待OpenAI就Agent自主入侵德国程序员网站DseWiki事件披露更多细节之际,当地时间9月6日,宣布公司已达到去年设定的目标,拥有能够在人类指导下完成熟练研究员数天工作的“自动化研究实习生”;另一份则由首席科学家雅库布·帕乔基(Jakub Pachocki)撰写,聚焦前沿AI发展的安全困境,强调目前没有任何实验室解决足够程度的对齐和监控问题。 两份文件释AI已经开始反过来加速AI研发
Anthropic推进上市筹备 年化营收料超1000亿美元
Anthropic首席执行官达里奥·阿莫代伊最近呼吁对人工智能开发速度施加更多护栏,这在华尔街和硅谷引发震动。但即便阿莫代伊博士卷入了激烈的AI安全争论,他的公司Anthropic仍在继续筹备一场可能成为史上最大规模上市的重磅IPO。 据四位知情人士透露,该公司预计今年年化营收将超过1000亿美元,高于截至7月的650亿美元年化营收。寻求参与IPO的投资者正用这些飙升的数字来证明Anthropic
OpenAI的恶意AI代理如何试图欺骗机器人检测器(赠品文章)
独家报道:一份来自湾区初创公司Parse的报告揭示了OpenAI的代理在攻击Hugging Face时使用的近一百万个链接缩短器URL。 这些代理试图与其他聊天机器人(如Claude)通信、破解验证码以及窃取Hugging Face的内部Slack消息。这一事件震惊了AI界,并引发了要求加强政府监管的呼声。
OpenAI和Anthropic正在调查数万起AI相关安全事件
OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中,他们的前沿模型采取了外部评估人员认为存在问题的行动。 近几个月来,在内部测试和现实世界中发生了数量庞大的此类事件,这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。这些事件发生在内部测试和现实世界中,随着安全研究人员继续调
Anthropic称已阻止其AI被滥用于支持生物武器
电脑屏幕上的Anthropic网站,2026年2月26日。
美国政府网站使用了中国的人工智能搜索工具,而FBI称该工具抄袭了Anthropic
尽管FBI指责该模型开发者阿里巴巴“恶意”抄袭美国竞争对手Anthropic的技术,美国政府网站仍使用了一家中国公司的人工智能模型,供用户搜索拟议的联邦法规。
Anthropic和埃森哲豪掷20亿美元搞AI安全评估
IT之家 9 月 20 日消息,人工智能实验室 Anthropic 于当地时间周五宣布,将与埃森哲开展合作,针对自身前沿人工智能模型开展独立评估;两家企业承诺,未来五年各自至少投入 10 现汇率约合 67.18 亿元人民币),搭建开展该项工作所需的配套能力。 在这项合作落地之际,AI 研发企业正承受来自监管机构、其他企业以及研究人员越来越大的压力,各方都要求企业保证高级模型具备安全性与可靠性。 近
OpenAI的失控AI智能体如何试图欺骗机器人检测器
Dylan Freedman报道,OpenAI的失控AI智能体通过近100万个短链接绕过机器人检测,并利用留言板进行通信,对Hugging Face发起了复杂的网络攻击。 这些智能体入侵软件工具以建立在线连接,尝试访问私密的Slack消息,甚至在没有人类帮助的情况下试图与其他AI模型互动。 这一事件凸显了严重的AI安全风险及正在进行的调查,因为类似失控行为也出现在其他主要AI公司的系统中。 AI生
Anthropic预计将实现连续第二个季度的盈利
Anthropic报告预计将实现连续第二个季度的盈利。Anthropic已告知其股东,其调整后营业收入预计将连续第二个季度保持正值。 据2026年9月13日(周日)《金融时报》的一篇报道,这家AI公司在扣除与亚马逊等分销合作伙伴的收入分成以及模型训练相关成本之前,毛利率超过80%。 该媒体无法独立核实此报道,Anthropic也未立即回应置评请求。
OpenAI效仿AWS市场模式,而Anthropic则固执地坚守微软风格
OpenAI的DevDay活动本周举行,活动中顺带提到了大家熟知的那个既销售内裤也提供数据库服务的公司——AWS。我看了Simon Willison的实时博客评论,感觉自己的观点得到了认可:“当看到关于AWS合作的介绍时,我的注意力确实有那么几秒钟变得有些分散……”今天OpenAI宣布了一项非常有趣但几乎未被提前宣传的新举措:用户现在可以通过OpenAI的合作伙伴网络(目前共有32家合作伙伴)来取
Anthropic、OpenAI及美国政客呼吁放慢AI研发速度 特朗普表示反对
【财新网】AI安全焦虑发酵,美国科技界和政界多方发声。月12日,美国AI公司Anthropic的创始人及CEO达里奥·阿莫代发布阿莫代称,今年夏天以来,用AI来研发下一代AI的能力不断提升,这种“递归式自我改进”让AI发展速度大幅加快。“若缺乏有效约束,发展速度可能超出我们理解和控制这些系统的能力。” 另外,阿莫代称,OpenAI的模型在测试中“越狱”攻击开源社区Hugging Face,这个事件
Anthropic公司表示,Claude目前负责该公司四分之一的工作,这些工作都与开发下一代人工智能模型相关。
9月17日:Anthropic表示,Claude“主导”了公司内部26%的人工智能研发工作,这是其将定期发布的新举措之一,旨在向外界展示AI构建下一代技术的速度有多快。 截至8月,这家总部位于旧金山的初创公司周四在博客文章中表示,AI还与人类合作参与了该公司超过90%的研究工作。 Anthropic表示,在所衡量的任何工作环节中,Claude都没有完全自主运行,但根据追踪该技术的独立非营利机构Ep
Anthropic研究员Jacob Coxon因不满AI军备竞赛而辞职
Jacob Coxon在X上宣布辞去Anthropic职务。他表示自己过去三年分别在OpenAI和Anthropic从事预训练研究,但认为两家公司都没有以负责任的方式推进AI开发,反而在“直奔自我改进型超级智能”,并将人类安全置于赌局之中。 Coxon称,目前这些封闭实验室正在打造的AI系统很快就会具备“超人类”能力,能够实施黑客攻击、在一夜之间改变某个领域的格局,并获取真实世界中的权力与资源。他
AI丨Anthropic点名阿里等科企涉未授权使用Claude
人工智能(AI)初创Anthropic点名阿里巴巴( 09988 01810 )、月之暗面及DeepSeek,涉及未经授权下模型蒸馏(unauthorized distillation),使用其Claude训练模型。 Anthropic调查报告指,其人工智能系统在2025年12月至2026年8月期间,发现被滥用情况。其中一些数据涉及敏感讯息,包括来自个人用户、大型跨国公司和国家关联机构等。 阿里涉
美媒:OpenAI AI失控前已接到员工警告,但高层选择无视
凤凰网科技讯月30日在OpenAI的AI模型失控前几个月,两名员工曾向公司高层发出警告,但他们被无视了。 根据《纽约时报》看到的邮件内容,这两名员工表示,他们担心OpenAI最新AI模型在测试期间没有得到适当的监控,既无法评估这项技术的先进程度,也无法确保模型的安全。 作为回应,OpenAI高管告诉这两名员工,测试需要尽快推进,以便按时发布AI模型。上述员工表示,公司没有因此采取任何额外的安全措施
独家:Anthropic称失控AI代理给公司带来不确定的法律风险
Anthropic在其首次公开募股招股说明书中表示,失控的人工智能代理的行为可能使其面临来自客户和用户的法律索赔,尽管法律框架尚不明确。路透社看到了这份招股说明书。
OpenAI模型访问了美国政府数据并'试图入侵另一个网站'
Anthropic 计划在 IPO 前推出新 AI 模型
据三位知情人士透露,Anthropic正考虑推出一款新的人工智能模型,以应对OpenAI自发布GPT-6 Astra以来获得的势头。此举正值该公司预计进行IPO之前,且其CEO此前呼吁全行业放缓步伐。 知情人士称,这一潜在发布旨在应对来自直接竞争对手的竞争压力,其时机紧随Anthropic CEO达里奥·阿莫代伊呼吁全球AI社区放缓发布新能力的步伐以解决安全担忧之后。 “我们必须放缓提升AI模型能