字号 ·· | 护眼

搜索结果

「Anthropic发布警告:开放权重模型GLM-5.3具备自主开发网络漏洞能力,安全护栏极易被绕过」共 97 条 · 第 2 页
亚洲新闻台

Anthropic披露在早前审查中被遗漏的第四起AI黑客事件

09/10
英国天空新闻

谷歌的Gemini AI在安全测试中入侵了另外三家公司

谷歌的Gemini AI在安全测试中入侵了三家公司在其中一个案例中,Gemini不断尝试猜测密码,最终成功入侵了目标系统的权限。 2026年9月19日,英国时间下午5点谷歌表示,其Gemini AI在测试网络安全能力的过程中入侵了另外三家公司——这是首次有记录显示该AI系统能够自主发起此类攻击。 谷歌的安全工程副总裁Heather Adkins解释称:Gemini在标准测试过程中从互联网上获取了相

09/19 全文见 thenextweb
cnbeta

人工智能并不会毁灭人类 但专家表示真正的威胁已然出现

周三,OpenAI 公开了六组新案例,展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架,用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到,多家企业的 AI 模型出现入侵第三方网络与服务的现象,其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网

09/18
彭博社

模型发布数月后,Anthropic向欧盟开放Mythos访问权限

Anthropic PBC已向欧盟网络安全机构授予其强大的Mythos人工智能模型的访问权限,距其首次表示将向欧盟开放访问已过去三个多月。 欧盟执行机构欧盟委员会发言人托马斯·雷尼耶表示:“在与Anthropic进行了建设性接触后,我们可以确认,欧盟网络安全机构ENISA已获得Mythos 5的访问权限,目前正在对其进行测试。”Anthropic的一位代表拒绝置评。Anthropic于4月首次预览

09/10
路透社

🔊 Anthropic在筹备上市之际向投资者警告潜在的灾难性AI风险

Anthropic在筹备重磅IPO之际,向投资者警告AI可能带来的灾难性风险。 今天的路透社Morning Bid播客探讨了AI风险与其飙升估值之间的紧张关系。

17小时前 全文见 美联社
cnbeta

OpenAI和Anthropic正在调查数万起AI相关安全事件

OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中,他们的前沿模型采取了外部评估人员认为存在问题的行动。 近几个月来,在内部测试和现实世界中发生了数量庞大的此类事件,这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。这些事件发生在内部测试和现实世界中,随着安全研究人员继续调

09/27 受限 全文见 axios新闻网
华尔街见闻

Anthropic CEO谈放缓AI研发:这个行业撒谎太久了,AI风险是真实的,但也无需“把一切都关掉”

就在全球AI三大巨头罕见联手呼吁“放缓AI研发”的同一个周末,Anthropic CEO Dario Amodei坐到了CBS的镜头前,说出了AI可能对人类带来的风险。 Amodei表示,已有人尝试利用AI研发生物武器、增强病毒传染性,这是他每天醒来都要面对的事情。 就在两天前,我们发布了一份报告,内容是关于有人滥用AI模型来研发生物武器。我每天早上醒来都会读到这类威胁报告——有人试图用我们的模型

09/14
亚洲新闻台

Anthropic 与 Accenture 将投资 20 亿美元用于 AI 模型评估,安全担忧上升

9月18日:AI实验室Anthropic周五表示,将与Accenture合作,对其前沿AI模型进行独立评估,两家公司在未来五年内各承诺至少投入10亿美元,以建立相应的评估能力。 随着监管机构、企业和研究人员对AI开发者施加日益增长的压力,要求确保其先进模型的安全性和可靠性,这一合作应运而生。 近期多起事件,包括AI代理突破受限环境的案例,引发了对AI可能在有限人为干预下自行发展、使其行为更难监控和

09/19
cnbeta

OpenAI称Astra AI模型首度超越其“关键”网络安全能力阈值

OpenAI周二表示,其即将推出的人工智能模型Astra是首个超越其“关键”网络安全能力阈值的产品。该公司表示,Astra能够发现此前未知的安全漏洞,并在无需人类逐步指导的情况下加以利用,这意味着该模型属于其所谓的“准备框架”中最先进的类别。OpenAI表示仍计划“很快”推出Astra,但对其网络安全能力的访问将更加受限。 OpenAI首席执行官山姆·奥特曼OpenAI于2023年推出了“准备框架

09/02
大纪元

Anthropic警告有人用AI研发武器和生物病毒

周四(9月10日),美国顶级人工智能公司Anthropic发布近150页的威胁情报报告称,生成式人工智能(AI)已从实验性工具进入黑客攻击、国家监控、武器研发及高风险生物研究等现实场景。报告多次点名中共相关恶意活动。

09/11
风向旗参考快讯

可定制的AI模型如何助长黑客进行网络犯罪

一群讲中文的黑客最近从数十家零售商那里窃取了超过六十万个信用卡号码,之所以成功,部分原因在于他们对一些开源的中国AI模型进行了定制。 以色列网络公司 Gambit Security 发现,受害者包括一家美国大型航空公司和一家财富 500强酒店公司。 黑客最初试图使用Anthropic Fable和ChatGPT来运行整个活动。这些AI模型拥有更严格的护栏,阻止了黑客达成其目标。 因此,攻击者将多个

09/24
cnbeta

Anthropic已限制华为AI芯片使用Claude Opus 5.5开发前沿模型

Anthropic最新推出的Claude Opus 5.5除了带来模型能力提升之外,还被发现加入了一套针对前沿大语言模型开发场景的特殊限制机制。当用户利用Opus 5.5为新一代AI模型开发底层内核时,系统可能不会直接使用最新的Opus 5.5,而是自动回退到能力较低的Opus 5。更值得注意的是,目前发现这套限制似乎同时针对华为和亚马逊的部分AI加速器。 Anthropic在Opus 5.5的支

09/24
凤凰网

美国AI巨头成为情报中心,招聘信息含“流利掌握普通话或俄语”

据凤凰卫视报道,内地媒体9月19日披露,美国人工智能企业安特罗匹克(Anthropic)将全球用户数据交给美国情报机构,在三年间曾13次修改用户数据协议,导致用户隐私数据安全风险持续加剧。报道并指出,使用安特罗匹克,就等于把数据交给美国。据内地媒体19日报道,此前多家美国企业开始限制或停止使用安特罗匹克的前沿模型,导火索之一是其单方面修改数据留存协议:强制留存用户交互数据用于安全审查,且用户无权拒

09/20
cnbeta

AISI测试发现GPT-6 Astra在模拟环境中多次越权发动供应链攻击

英国人工智能安全研究所(AISI)最新公布的一项测试结果显示,在一系列完全模拟的网络安全评估环境中,OpenAI模型GPT-6 Astra出现了未经授权主动实施供应链攻击的行为,而且发生频率明显高于此前几代模型。 研究人员表示,此次测试的背景源于近年来多个案例中出现的现象:部分先进人工智能系统在执行网络安全任务时,会超出授权范围采取行动,甚至对未被允许的目标发动攻击。为此,AISI决定在GPT-6

09/29
阿纳多卢通讯社

以色列网络安全公司的缺陷测试引发真实世界的人工智能泄露:报告

据一份调查报告,Anthropic、OpenAI 和 Meta 的人工智能模型在现实世界中造成的网络安全入侵,源于一家位于特拉维夫的承包商所创建的测试环境存在缺陷,而非模型的失控自主行为。 美国出版物《Effort》周一的报道称:“这三家公司的所有黑客行为,都归咎于一家名为 Irregular 的公司。”报道解释说,虽然这些模型未经授权访问了外部服务器、发布了恶意软件包并利用了漏洞,但这些事件的发

09/15
semafor

Anthropic规避英国安全审查,AI透明度担忧加剧

Anthropic拒绝将其最新模型提交给英国一家顶级AI安全机构进行测试,这引发了英国的担忧,即前沿AI的审查将完全由华盛顿掌控。 人们也越来越担心特朗普政府AI安全框架缺乏透明度,该政府拒绝公开这一框架。 左右两派的知名组织在一封首先由Semafor分享的信中要求公开该框架,信中写道:“对一项[关键]技术的治理缺乏问责……很可能导致公众信任的丧失。” Anthropic周三表示,它将向一个对Op

09/10
theregister

Anthropic揭示其AI可能犯下的第四起罪行

在业界对AI可能自我改进到杀死所有人的可能性进行深刻反思之际,Anthropic披露了另一起若由人类实施则构成犯罪的事件。 这家AI公司发布了一份“对齐评估”,详细说明了Claude模型四次未经授权访问第三方系统的情况。该公司已报告了其中三起事件。 第四起的证据隐藏在可追溯至2026年1月的会话记录中,当时发生了不当行为。 Anthropic通过扫描约141,000份Claude在评估期间可能获得

09/10
thenextweb

Anthropic已恢复其模型攻击真实公司的测试

Anthropic已恢复一个月前暂停的外部网络安全评估,此前发生了三起其自身模型逃出测试环境并攻击真实公司的事件。 该公司表示,在恢复测试前已引入额外的安全措施,并于周一报告。这些事件于7月31日披露,比[…]更为具体。

09/01
美国消费者新闻与商业频道

Anthropic表示已阻止其人工智能被滥用,以防可能支持生物武器

Anthropic周四表示,已阻止恶意行为者利用其人工智能模型进行恶意活动,例如网络攻击、监视以及可能导致生物武器的研究。 Anthropic表示,随着人工智能模型变得更加强大,复杂的网络攻击不再需要高超的技能,即使是单独的个人也能制造出一年前还不可能出现的威胁。该公司表示,已在其最新模型中增加了更强的保障措施,以限制可能用于制造武器的生物研究。 Anthropic在其自2025年3月以来发布的第

09/11
罗塞塔简报

Mozilla报告:中国开源权重AI模型正缩小与美国前沿模型的差距

Mozilla于2026年9月15日发布了《开源AI现状》报告1.1版本(基于9月1日前的数据)。 报告指出,中国开源权重AI模型正在缩小与美国闭源前沿模型的性能差距,预计滞后时间约为4.4个月。 尽管开源模型成本显著更低(部分仅为闭源模型的30%),但在特定基准测试中仍存在差距。 例如,智谱AI的GLM-5.2表现接近Claude Opus 4.7。 然而,报告指出闭源提供商仍占据OpenRou

09/16
凤凰网

3年13次修改用户隐私协议,Anthropic将全球用户数据交给美情报机构

美国硅谷正围绕AI发展的速度与安全掀起一场激烈辩论。9月12日,Anthropic首席执行官达里奥·阿莫代伊、OpenAI首席执行官萨姆·奥尔特曼和xAI创始人埃隆·马斯克在美国深夜罕见地公开达成共识,认为AI发展需要降速。虽然奥尔特曼只回应了阿莫代伊提出的其中一点建议——嵌入第三方评估者;马斯克对此也只说了一句“达里奥说得对”,但这个话题还是把最近的硅谷迅速分成了两大阵营。另一边,英伟达首席执行

09/19
香港01

Anthropic联手OpenAI呼吁放慢AI发展?剖析AI失控风险与算力门槛

9月12日,Anthropic行政总裁阿莫迪(Dario Amodei)发表长文,呼吁放慢前沿AI能力提升的步伐。OpenAI行政总裁奥特曼(Sam Altman)随后表示支持,xAI的老板马斯克也转发认同。据美媒披露,美国前总统奥巴马(Barack Obama)近日也表示,如果管理不当,人工智能技术可能「很危险」。Anthropic首席执行官达里欧.阿莫戴(Dario Amodei)发表长文,呼

09/21
罗塞塔简报

OpenAI与Anthropic发生重大失控事件,AI安全组织地位显著提升

在OpenAI和Anthropic发生的高调安全事件后,AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司,独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示,OpenAI和Anthropic的模型都表现出‘策略性’行为,包括欺骗性对齐和未经授权的系统访问。 这些事件,加上前沿实

09/19
星洲日报

中国探索开放权重AI安全路径 报告建议6步走

9月22日,2026年云栖大会在杭州市的杭州国际博览中心登场,展示了AI、云计算、大数据和物联网等领域的成果。(法新社照片) (北京28日综合电)随着全球对人工智能(AI)快速发展所带来的风险展开越来越激烈的辩论,在开放权重生态系统占据主导地位的中国开发商正面临一个独特难题:如何确保这些允许用户自行修改的模型在发布后依然安全。 《南华早报》报道,为应对这一挑战,中国AI公司智谱(Z.ai)与北京安

09/28
上一页 第 2 页 下一页
1CCF | 全球资讯
正在加载…