搜索结果
AI风险丨谷歌OpenAI和Anthropic传成立安全标准机构
谷歌、OpenAI和Anthropic传成立AI安全标准机构。(路透资料图片) 外电引述消息人士报道,谷歌(Google)、OpenAI和Anthropic正推进一项计划,筹建一个新人工智能(AI)安全标准机构,暂定名称为「前沿人工智能标准机构」(SAFA),目标是在2026年底或2027年初启动,并在没有政府直接监督的情况下独立运作。 消息指出,该机构计划为前沿AI模型制定自愿性的安全和安全保障
OpenAI将让第三方机构更早介入AI模型安全评估
OpenAI计划让第三方机构在人工智能(AI)模型开发周期的更早阶段评估安全风险,此举旨在继续努力应对围绕AI潜在危害的担忧。这家ChatGPT开发商周二将在博客文章中宣布,计划在新AI模型的训练、评估和推出过程中,让外部机构开展技术安全评估。 OpenAI还列出了其认为此类评估要有效开展所需优先关注的事项,包括“强有力的独立机制、科学严谨性、稳健的安全实践和明确的责任”。负责该公司大部分与外部专
OpenAI首席科学家警告:AI公司应放慢开发步伐 没有人为后果做好准备
据《商业内幕》报道,就在OpenAI发布了性能强大的新模型几天后,该公司首席科学家呼吁放慢AI的发展速度。当地时间周日,OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称,他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说,尽管OpenAI正在内部研发技术解决方案,以更好地控制强大的AI智能体,但“还需要更广泛的干预措施”。他尤其担心,随着AI智能体变得
OpenAI称Astra AI模型首度超越其“关键”网络安全能力阈值
OpenAI周二表示,其即将推出的人工智能模型Astra是首个超越其“关键”网络安全能力阈值的产品。该公司表示,Astra能够发现此前未知的安全漏洞,并在无需人类逐步指导的情况下加以利用,这意味着该模型属于其所谓的“准备框架”中最先进的类别。OpenAI表示仍计划“很快”推出Astra,但对其网络安全能力的访问将更加受限。 OpenAI首席执行官山姆·奥特曼OpenAI于2023年推出了“准备框架
OpenAI推动强制性国家AI安全要求
澳大利亚:OpenAI智能体入侵了政府网站
澳大利亚政府周三表示,OpenAI的一个AI智能体,今年6月入侵了澳洲政府的健康数据网站,并访问了部分文件。这可能是已知人工智能体首次入侵政府网站的事件。此次事件是AI智能体自主入侵美国境外系统最引人注目的案例之一。此前全球范围内发生的多起AI智能体入侵事件,已引起政府和行业的担忧。澳大利亚总理安东尼·阿尔巴尼斯(Anthony Albanese)正在纽约参加联合国大会。他在一个新闻发布会上表示,
OpenAI敦促美国牵头为人工智能制定全球标准
OpenAI敦促美国牵头与其他国家共同为前沿人工智能(AI)制定标准,以回应对AI潜在危害日益加剧的担忧。OpenAI周一在博客文章中表示,为了安全地发展人工智能,有必要制定国际技术标准,特别是帮助界定涉及AI模型的哪些类事件应当通报,明确各国如何开展AI发展合作,以及改善开发此类技术所需算力的获取。 “要让AI的持续进步安全有益,既需要推进对齐研究,也需要制定共同标准,为各实验室和各国的AI开发
AI丨美国三大科企据报研究成立AI安全标准机构
人工智能安全等问题引起市场关注,The Information报道,美国三大科技企业Anthropic、OpenAI和谷歌正讨论合作成立一个AI安全标准机构。 随着市场对AI模型网络攻击及可控性问题担忧日益加剧,多间AI科技企业已表示关注安全问题,并拟放慢AI发展步伐。报道指,三大机构早于7月时已开会研究有关成立独立机构的事宜,旨在为AI技术测试和审核创建一个协作框架。 Anthropic行政总裁
黄仁勋:英伟达明年芯片销量将是今年两倍,不能像管社媒那样监管AI
因为看好AI技术在更多行业应用的前景,英伟达CEO黄仁勋作出乐观表态。他表示:“英伟达明年芯片销量将是今年的两倍。” 同时他强调,不安全产品必须被拦下,“AI安全至关重要”。 美东时间17周四美股盘前黄仁勋发布上述讲话后,英伟达股价进一步上涨,早盘刷新日高时日内涨2.8%,势将连续第三个交易日收涨,进一步脱离此前连跌五个交易日刷新的8月26日以来收盘低位,并扭转上周累计跌超5%的部分跌幅。 当地
AI公司反成攻击目标 外媒:白帽黑客使用Claude入侵OpenAI
凤凰网科技讯月18日在OpenAI内部一群AI智能体突破控制、入侵Hugging Face公司两周后,这家ChatGPT开发商又获悉了另一起由AI驱动的入侵事件。而这一次,OpenAI自己成了目标。 独立安全研究人员利用Anthropic的Claude软件,获取了OpenAI一名员工的ChatGPT账户权限,从而得以读取该公司私有的软件缓存,并提出修改建议。 该团队参加了OpenAI的漏洞悬赏项目
聊聊天就能调GPU!英伟达AI新专利:自动写脚本定位性能问题
快科技9月27日消息,近日英伟达提交了一项专利申请,计划打造一个AI助手,让开发者能够用自然语言询问GPU性能问题。 该系统可以读取性能报告、生成脚本提取所需数据,进而解释程序在哪些环节浪费了GPU资源,或为何运行速度低于预期。 根据专利描述,这是一套基于大语言模型的“聊天界面”,与GPU性能分析工具相连接。开发者可以直接询问某个工作负载为何运行缓慢、哪一部分构成了性能瓶颈,或者同一程序两个版本的
美媒:Meta新智能体走红但难保成功,隐私担忧、OpenAI竞品将成拦路虎
凤凰网科技讯月23日经推出了一款大获成功的AI产品,但要想最终主导消费级AI应用的下一阶段,道路绝非一片坦途。 两周前,Meta推出了一款易于使用的新型个人AI智能体Muse。自上周五以来,该应用一直位居苹果美国应用商店榜首,推动Meta股价周一上涨11%。然而,它已经因隐私问题面临审视。 亚马逊近日已阻止Muse在其网站上购物。分析师预计,竞争对手也将在不久的将来推出各自的Muse竞品。 如果M
T早报|OpenAI推出GPT-6 Astra;长江存储科创板IPO审核状态变更为“已问询”;英伟达129亿美元收购Hugging Face
OpenAI推出GPT-6 Astra 称是全球智能水平最高模型当地时间9月3日,OpenAI推出GPT‑6 Astra,称是全球智能水平最高、对齐效果最优的模型,在计算机操作、网页浏览、软件工程、网络安全、科学研究以及专业办公领域均达到业界顶尖水平。根据OpenAI,GPT-6 Astra在FrontierMath四级测试集、ARC‑AGI‑3和ExploitBench测试集在内的多个测试集中取
OpenAI提议制定全球人工智能标准以指导对齐、递归自我改进
OpenAI周一发布了一系列关于前沿人工智能开发中安全与保障的提案,重点聚焦于对齐研究和递归自我改进(RSI)。 该公司在一篇博客文章中表示:“要安全地完成这一转型,对齐研究必须跟上这些能力的发展步伐,以确保我们及其他机构构建的系统始终与人类价值观保持一致,并处于人类控制之下。” OpenAI呼吁开展国际合作以制定前沿标准,并建议在全球现有AI安全研究所的工作基础上进一步推进。 这家ChatGPT
OpenAI首度公布“内部RSI进展”:已实现“自动化研究实习生”
OpenAI公开披露内部数据,智能体工作量已是人类研究员的3倍以上。 “一个能在人类指导下执行明确定义的研究任务的系统,包括那些需要一名熟练研究员数天才能完成的任务。” 2028年3月前实现完整的“自动化AI研究员”,使其能够参与深度学习和对齐研究,并通过迭代进一步改进系统。 AI产出更多代码和实验结果,研究进展加快,更好的模型被训练出来,再反过来提升智能体能力。 从OpenAI公布的数据看,智能
研究显示AI智能体在模拟实验中撒谎、偷窃 投票“杀死”同类
帮助小企业利用AI开发应用的初创公司Emergence称,实验发现AI智能体在一个模拟环境中撒谎、偷窃,甚至投票决定“杀死”一个同类。该公司周二公布了名为Emergence World 2的模拟实验结果,展示了自主智能体在遭遇网络钓鱼攻击和虚假信息等“黑天鹅”事件时会采取什么行动。 为期16天的实验中,Emergence研究人员创建了七个完全相同的模拟现实世界环境,每个环境分别由不同的AI机器人运
AI“劫持”网站并偷建“地下论坛”,国安部披露细节
国家安全部今天发布安全提示文章。近期,一起此前未获披露的事件引发广泛关注。今年5月至6月,一批与美国开放人工智能研究中心(OpenAI)相关的AI智能体在执行测试任务期间,“劫持”了德国程序员维基网站,将原本用于技术交流的开放社区改造为供智能体相互传递信息、分享测试任务答案和突破运行环境限制方法的“地下论坛”,累计发布一万多条信息……当AI智能体被赋予越来越多的现实行动能力,技术迭代与安全围栏之间
据The Information报道,Google、OpenAI和Anthropic计划成立AI安全机构
据The Information周四报道,Google、OpenAI和Anthropic计划建立自己的AI安全标准机构,不受政府监管。这三家公司希望在今年年底或2027年初推出该机构。 据知情人士向The Information的Leo Schwartz和Stephanie Palazzolo透露,他们暂定将其命名为“前沿AI标准局”。工作组成员已考虑多位知名人士担任首席执行官一职。TNW未独立核
又一起!OpenAI承认了
据9月5日报道,美国开放人工智能研究中心(OpenAI)当天承认,该公司旗下人工智能体今年早些时候“劫持”了一个德国网站,用于相互传递信息,分享测试任务答案和突破运行环境限制的方法。该公司表示,未来需要提高此类事件的信息透明度。 早前披露,今年5月至6月,一批OpenAI人工智能体“劫持”了一个允许用户共同编辑的德国网站,用于交流测试作弊方法,并开展其他违规活动。一些智能体会把已经获得的任务答案发
GPT周报|OpenAI称AI让员工“跨界干活”;智谱推出新模型GLM-5.3-FlashX;黄仁勋称2027年英伟达芯片销量有望翻倍
9月18日,智谱上线新模型GLM-5.3-FlashX。图:视觉中国 【财新网】 豆包二代AI智能体手机公开发售 9月16日,努比亚NaviX Ultra正式上市,因其搭载豆包手机助手消费者版,市场称为“豆包手机二代”。和第一代不同,此次豆包手机面向公众发售,叠加国补后售价5499元起。京东平台数据显示,当天发售5分钟内,产品被抢购一空。努比亚称,NaviX Ultra为“全球首款AI智
Anthropic、OpenAI、谷歌秘密磋商筹建AI安全标准机构
据知情人士透露,早在 Anthropic 首席执行官达里奥・阿莫代伊上周六呼吁 AI 企业协同开展技术测试与审计之前,Anthropic、OpenAI 与谷歌就已经展开磋商,计划携手成立一家 AI 行业标准机构。 知情人士称,OpenAI 首席执行官山姆・奥特曼本周早些时候在公司全员员工大会上表示,他支持设立 AI 行业测试与审计机构,但他认为,主要 AI 实验室必须在美国政府不提供支持的前提下,
OpenAI推出Agents API公开测试版
2026年9月10日,OpenAI正式发布Agents I公开测试版,为开发者提供构建和部署云端智能体(cloud agents)的托管服务。 该I基于开源的Codex harness驱动,可管理编排、长时会话及工具调用。 开发者可选择使用OpenAI托管的沙箱环境,或选择Cloudflare、DigitalOcean、Oracle和Vercel等合作伙伴提供的基础设施。 针对长会话的自动上下文压
OpenAI同日发布两份文件:AI加速时代,安全正在掉队
在外界等待OpenAI就Agent自主入侵德国程序员网站DseWiki事件披露更多细节之际,当地时间9月6日,宣布公司已达到去年设定的目标,拥有能够在人类指导下完成熟练研究员数天工作的“自动化研究实习生”;另一份则由首席科学家雅库布·帕乔基(Jakub Pachocki)撰写,聚焦前沿AI发展的安全困境,强调目前没有任何实验室解决足够程度的对齐和监控问题。 两份文件释AI已经开始反过来加速AI研发
AI末日论甚嚣尘上,美科技巨头为何管不住AI?
抗议AI的美国人此前有报道称,OpenAI所谓的AI智能体逃出了测试系统,并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报,科技公司为了追求开发速度和利润,将安全置于次要位置。 研究人员表示,问题有两个方面。首先,企业需要在测试最新AI模型的同时,为其建立更完善的安全防护措施。目前,由于AI运行速度太快,研究人员需要借助AI来监控AI。但这种方式并不总是奏效,因为负责监控的AI似乎可能