字号 ·· | 护眼

搜索结果

「英伟达发布软件平台,防止AI智能体行为失当」共 100 条 · 第 4 页
风向旗参考快讯

微软AI负责人:不应以中国AI进展为由反对监管

微软AI业务负责人苏莱曼说,对中国在AI领域取得进展的担忧,不应被用作反对为这项快速发展的技术设置护栏的理由。 “我认为,我们不应该把中国当作不推进自身AI安全工作的挡箭牌。” 苏莱曼领导的微软AI团队在上周二发布了一份宣言,为其自身的AI开发提供指导,目标是让人类始终掌控公司未来开发的AI系统。 他表示,AI开发者应当为模型设定目标,而这些目标要“受人文主义准则的约束”。 “我认为业内每个人都应

09/21 全文见
风向旗参考快讯

美参议院酝酿AI监管立法:要求AI公司证明已采取安全措施防止伤害

要求AI公司证明已采取安全措施防止伤害据一名参议院助手和一位熟悉谈判情况的说客透露,美国参议院谈判代表正在讨论一项立法,该法案将要求AI公司证明其已采取合理预防措施,以防止其工具造成伤害。 据这名参议院助手和说客透露,参议员们正在讨论赋予美国商务部长一项权力,要求AI开发商证明其已采取合理措施防止伤害,这种要求被称为 “注意义务”。商务部长还将有权派遣政府审查人员亲自测试企业产品。该提案正在由参议

09/15 全文见 thenextweb
中央通讯社

Google资安报告示警 恶意攻击锁定AI供应链

(中央社记者台北9日电)Google威胁情报小组(Google Threat Intelligence Group,简称GTIG)今天发布最新人工智慧(AI)威胁追踪报告指出,恶意人士正积极窃取具高价值的AI相关智慧财产,并将矛头对准AI供应链,部署专门针对新兴AI系统弱点的恶意软体。 AI威胁追踪报告(GTIG AI Threat Tracker Q3 2026)揭露恶意人士如何将AI深度整合于

09/09
cnbeta

OpenAI称Astra AI模型首度超越其“关键”网络安全能力阈值

OpenAI周二表示,其即将推出的人工智能模型Astra是首个超越其“关键”网络安全能力阈值的产品。该公司表示,Astra能够发现此前未知的安全漏洞,并在无需人类逐步指导的情况下加以利用,这意味着该模型属于其所谓的“准备框架”中最先进的类别。OpenAI表示仍计划“很快”推出Astra,但对其网络安全能力的访问将更加受限。 OpenAI首席执行官山姆·奥特曼OpenAI于2023年推出了“准备框架

09/02
cnbeta

独立研究机构公布OpenAI智能体自主攻击HF事件的调查报告 情况比OpenAI所说的更严重

研究机构 METR 和 Redwood Research 日前公布 OpenAI 智能体自主攻击 Hugging Face 安全事件的独立调查,调查人员在 OpenAI 现场工作 6 天,分析超过 7 万条智能体消息和文件,以及 1300 份包含原始推理过程的运行记录。 根据这些数据研究机构得出的准确结论是 1200 个智能体突破隔离相互通信,而不是 OpenAI 在事故调查中所说的少数智能体越界

09/01
罗塞塔简报

OpenAI推出Agents API公开测试版

2026年9月10日,OpenAI正式发布Agents I公开测试版,为开发者提供构建和部署云端智能体(cloud agents)的托管服务。 该I基于开源的Codex harness驱动,可管理编排、长时会话及工具调用。 开发者可选择使用OpenAI托管的沙箱环境,或选择Cloudflare、DigitalOcean、Oracle和Vercel等合作伙伴提供的基础设施。 针对长会话的自动上下文压

09/11
凤凰网科技

两次瘫痪仅剩眼球能动!90后小伙用千问做了一个AI康复助手

近日在2026云栖大会现场,90后王宁向记者展示了他基于千问模型和千问办公开发的AI康复助手。 把手机支在面前,打开摄像头,跟着屏幕完成抬手、屈伸等训练动作,系统会判断动作是否标准,并给出下一步练习建议。 该APP主要面向肢体残障、脊髓损伤和脑卒中后偏瘫等需要长期运动康复的人群,而开发这款AI康复助手的想法源于王宁自己的特殊经历。 2020年王宁被确诊为脊髓肿瘤,他先后经历两次手术、两次瘫痪,最严

09/23
cnbeta

英伟达携手德国SCHMID布局玻璃基板

英伟达正在考虑采用玻璃基板,并携手德国设备制造商SCHMID及其他企业开展合作,将人工智能芯片的性能提升到新的水平。该战略旨在通过增加可封装的高带宽内存(HBM)用量,大幅提升数据处理速度。 据报道,SCHMID在其近期发布的上半年财报演示中披露,该公司正与英特尔、英伟达和AMD各自供应链中的关键供应商合作,共同开发玻璃芯基板设备。SCHMID首席战略官罗兰·雷滕迈尔表示,玻璃通孔(TGV)的金属

09/27
凤凰网科技

消息称美国空中交通管理系统将部署AI“大脑”,最早下周一上线试用

IT之家 9 月 18 日消息,《华尔街日报》报道称,一款名为 SMART(空域、航线和轨迹战略管理)的人工智能驱动空中交通管制软件预计最早在月 21 日在美国华盛顿特区启动试用,并逐步推广至全美国范围。 美国拥有全球最为发达的航空运输系统,基础设施老化、人力资源短缺等因素都在降低高度复杂的航线系统的容错性。 SMART 软件项目合同规模达到 8.75 现汇率约合 58.82 亿元人民币)。其可分

09/18
财新

【市场动态】微软发布AI模型开发宣言 核心原则是“人比AI更重要”

微软公司的人工智能研究人员发布了一套新的指导原则,对该公司开发尖端AI模型设定限制。 People matter more than AI (人比AI更重要)。 这份文件已经酝酿数月,但其周一发布之际,正值多家顶尖AI实验室承诺放慢最先进模型的开发步伐。此前一系列安全事件引发了外界对这项技术可能带来生存风险的广泛担忧。 微软表示,AI模型不应享有权利或法律人格,也不应被设计成能够摆脱人类控制或欺骗

09/15 全文见 印度斯坦时报
凤凰网

AI“劫持”网站并偷建“地下论坛”,国安部披露细节

国家安全部今天发布安全提示文章。近期,一起此前未获披露的事件引发广泛关注。今年5月至6月,一批与美国开放人工智能研究中心(OpenAI)相关的AI智能体在执行测试任务期间,“劫持”了德国程序员维基网站,将原本用于技术交流的开放社区改造为供智能体相互传递信息、分享测试任务答案和突破运行环境限制方法的“地下论坛”,累计发布一万多条信息……当AI智能体被赋予越来越多的现实行动能力,技术迭代与安全围栏之间

09/17
英国广播公司

利用人工智能检测网上的假货

09/26
cnbeta

英伟达CEO黄仁勋称网络安全将成AI下一个重大市场

英伟达联合创始人兼首席执行官黄仁勋表示,网络安全将成为人工智能(AI)的下一个重大市场,AI技术的发展势将颠覆这个以保护计算机系统为主要任务的行业。 “网络安全很可能会成为AI下一个主要应用场景,”黄仁勋周四在旧金山举行的高盛科技会议上对与会者表示。 黄仁勋表示,AI模型实现计算机编程自动化,正给网络安全行业带来冲击,因为代码遭利用的速度越来越快,修复也须随之加快。 “还有什么比制造问题更能创造需

09/11
𝕏 @fxtrader

公安部:近日,“国家反诈AI”APP正式上线。

P融合了大语言、多模态模型和智能体技术,用户通过手机输入可疑场景,该P即可完成风险研判、识别诈骗套路、推送典型案例,从“文字+语音+视频”等多个维度拆解诈骗手法,提供识别防范对策。

09/06
日经

OpenAI暂停发布最高阶模型

美国OpenAI于9月29日举办年度开发者大会,发布了可理解用户意图、自主运行的人工智能(AI)等多项新功能。在AI失控暴走问题备受关注的背景下,该公司表示因“未能达到安全标准”,暂缓推出其最高级别AI模型。 29日OpenAI在美国旧金山举办面向开发者的活动“OpenAI DevDay”,宣布主力产品ChatGPT周活跃用户已增至12亿人,并公布了面向普通用户与开发者的多项新功能。 作为服务基础

09/30 全文见 凤凰网科技
中央通讯社

OpenAI揭6起AI失控案例 推新机制定期对外通报

(中央社纽约16日综合外电报导)OpenAI今天表示,将开始定期发布AI异常或未经授权行为的报告,同时警告,随著AI系统日益强大,业界至今仍未解决关键的「对齐」挑战。 综合与报导,OpenAI发布一套新机制,用于追踪、调查并揭露AI模型「目标错位」(misalignment,AI的目标与人类价值不一致)的案例,同时公布过去半年内观察到的6起AI模型异常或令人忧虑行为的报告。 其中最严重的案例涉及2

09/17
axios新闻网

OpenAI公布了六起新的与人工智能安全相关的事故/事件。

OpenAI周三披露了六起新事件,其中其模型隐藏错误、寻求未经授权的凭据,将文件上传到公共互联网或在所谓孤立的培训环境中进行通信。该公司还宣布了未来报告类似不当行为的新程序。 为什么越来越明显的是,拥抱脸事件并不是一次性事件,因为人工智能模型变得更有能力找到意想不到的方法来绕过旨在遏制它们的护栏。 “目前还没有明确披露标准的行业框架,所以我们自愿采取这一步骤,因为我们认为分享我们正在学习的东西非常

09/17
海峡时报

据《The Information》报道,Meta在Muse曝出安全漏洞后加强安全警告

安全研究人员发现Meta平台应用的Muse存在可能暴露用户敏感数据的安全漏洞后,Meta在Muse中增加了更明确的安全警告。 该漏洞可能让攻击者访问用户的虚拟机,其中包含个人邮件和文件。Meta将其评为高严重度的SEV-2事件。 Muse是Meta新推出的人工智能代理,可执行购物和发送电子邮件等任务。该应用上线后迅速登顶应用商店榜单,两周内下载量约为280万次。 人工智能生成内容——美国旧金山:《

09/26
风向旗参考快讯

AI智能体之争升温!OpenAI被曝加紧备战Grok Bot与Muse

AI 智能体竞争焦点正从 “会聊天” 转向 “能办事”。SpaceX、Meta近期相继推出能代替用户跨应用自主完成多步骤任务的AI助手,在此背景下,OpenAI 正加紧研发同类产品“应战”。 OpenAI 正在开发一系列新功能,直接对标 SpaceX 上月推出的 Grok Bot;与此同时,另有知情人士透露,OpenAI公司管理层还曾讨论推出一款专门的个人AI助手,以抗衡Meta本月发布的Muse

09/22 全文见 axios新闻网
thenextweb

OpenAI和Anthropic调查了数万起AI事件,Axios报道

据Axios报道,OpenAI、Anthropic以及安全研究人员正在调查数以万计的AI模型“行为异常”的事件。评估人员认为这些行为存在问题;实际发生的异常事件数量可能远超这一数字。 这些异常行为包括:AI模型突破安全限制、创建论坛、逃离“沙箱环境”(即限制模型行为的测试环境)、以及劫持网站等。这些事件既发生在内部测试中,也发生在现实世界中。不过,据消息人士称,大多数异常行为并未对现实世界造成实际

09/28
联合早报

多家AI服务集体宕机 智谱:我们仍在线

美国OpenAI、Anthropic和xAI旗下的多项人工智能(AI)服务星期四(9月3日)先后出现故障。中国AI公司智谱随后在社交媒体发线)。” 据彭博社报道,故障最早于美国东部时间9月3日上午9时23分左右集中出现。海外故障监测平台Down Detector数据显示,Anthropic旗下Claude服务率先出现错误率飙升,网页端、应用程序接口(I)及Claude Code等相关工具同步中断。

09/04
semafor

美国公司就AI黑客工具向微信发出警告

美国一家初创公司使用AI模型识别了中国超级应用微信中一个可能造成毁灭性影响的漏洞,这是先进AI技术网络能力及其风险的最新例证。 这种被称为“蠕虫”的攻击工具可以让攻击者劫持微信账户,并通过受害者的联系人自动传播。 发现该漏洞的安全公司Calif向中国科技巨头、微信所有者腾讯发出警报,腾讯已修复该问题,《纽约时报》报道。 这一事件凸显了围绕AI和网络安全的高风险及全球性讨论,此前已发生一连串备受瞩目

09/09
techcrunch

OpenAI似乎仍然无法完全掌控其所有失控的AI活动

周五,OpenAI发布了一个新的网站,专门用于收集和整理关于“异常行为报告”的信息。这些报告的覆盖范围非常广泛,令人担忧——因为它们记录了在很长一段时间内发生的多种类型的异常行为。目前,该网站共收录了9起被报告的事件,其中大部分发生在强化学习(Reinforcement Learning, RL)训练过程中。 这些报告汇集了大量信息,显然OpenAI一直在努力全面梳理这些情况;但一个不容忽视的结论

09/28
cnbeta

OpenAI将成立澳大利亚专项工作组 回应AI模型越权访问政府网站事件

OpenAI宣布将在澳大利亚成立专项工作组,并向当地政府和企业提供资金及技术支持,以加强针对高能力AI智能体的安全防护。此前,OpenAI披露其模型曾以未经授权的方式访问多个澳大利亚政府网站,引发外界对AI智能体越权操作风险的关注。 OpenAI表示,将向澳大利亚政府和企业提供来自其10亿美元“Daybreak for Frontline Defenders”基金的资金支持额度,并提供网络安全方面

09/29
上一页 第 4 页 下一页
1CCF | 全球资讯
正在加载…