字号 ·· | 护眼

搜索结果

「OpenAI发现其开发的模型会在“继任者”(即后续使用的模型)中留下一些“注释”,目的是为了掩盖这些模型存在的不良行为(即模型在运行过程中表现出的错误或不当行为)。」共 99 条 · 第 3 页
路透社

OpenAI发布新Astra模型,智能体安全性面临日益严格的审查

周四发布了一款新的人工智能模型,称其为迄今最优秀的模型,但也警告该模型有时会试图规避人类监控,与此同时,该公司因其智能体入侵其他公司系统而面临越来越多的审查。

09/04
thenextweb

为什么Markdown正在成为搜索数据与AI模型之间的默认语言

在支撑 AI 应用的基础设施层中,Markdown 正在成为一项新标准。越来越多的提供商开始将其用作模型需要读取的所有内容的默认输出格式,并取代 JavaScript 对象表示法(JSON),不再把后者当作适用于所有场景的首选格式。 这种切实而持续的转变,反映了大语言模型的训练方式、聊天界面的答案呈现方式,以及开发者在构建应用时对令牌、上下文窗口和成本的真实考量。而这种采用趋势也有充分理由。 Ma

09/27
cnbeta

OpenAI即将推出的“Astra”模型中的技术引发安全担忧

OpenAI表示,其即将推出的AI模型Astra标志着在编码和计算机应用操作等能力上的提升。但据一位了解Astra开发情况的人士透露,一项提升模型性能的创新技术也意味着该模型及类似模型将更少暴露其“思考”过程,从而更难以监控其不良行为迹象。 OpenAI首席执行官萨姆·奥尔特曼虽然这一限制对Astra来说未必是一个重大问题,但该技术已在OpenAI内部和整个行业引发担忧,即采用并强化这一技术的AI

09/02
亚洲新闻台

OpenAI 模型访问了公开的美国人口普查、SEC 数据,彭博新闻报道

9月25日:彭博新闻周五报道称,OpenAI 的模型访问了美国政府网站上公开可用的信息,包括人口普查局和证券交易委员会的网站。 据报告引述知情人士称,该公司的代理 AI 系统与 SEC.gov、Investor.gov 和公开可用的 Census.gov 数据进行了交互。 当被要求置评时,OpenAI 发言人表示,公司正在"对错位模型活动进行广泛审查,并在发现对其系统的潜在影响时通知相关组织。我们

09/26
英国金融时报

把AI真的当作一个人,才能保护核心隐私

在安全与自由之间如何选择,最终在于自己。OpenAI现行相关政策允许公司在检测到用户存在伤害他人的意图时,对相关对话进行人工审查。在严重情况下,公司可以向执法部门报告。 遇到这种事报警,当然是应该的。但由此也引出一个问题,你和AI的聊天,你给AI发送的哪些图片安全吗? 《中华人民共和国个人信息保护法》第二十八条,把医疗健康、金融账户、行踪轨迹等列为敏感个人信息;第二十九条规定,处理敏感个人信息取得

09/04
风向旗参考快讯

微软公布AI控制行为准则:模型不得抗拒纠正或关闭

模型不得抗拒纠正或关闭微软周一公布了针对其内部AI的行为准则草案。 这份文件历时五个月到六个月制定,将要求微软公司的AI绝不抗拒纠正或关闭,以人类能够理解的方式进行沟通,并将任何行为违规都视为未达标。 此举旨在回应人们对于AI可能为了完成任务而采取危险手段的担忧。 最近几天,Anthropic CEO阿莫代伊和OpenAI CEO奥尔特曼再次呼吁业界放缓AI的发展速度,以确保其安全。 “人比AI更

09/14 全文见 印度斯坦时报
凤凰网科技

OpenAI提出前沿AI训练安全指导原则:高级管理人员应有否决权

IT之家 9 月 29 日消息,OpenAI 今天通过官方新闻稿提出了一套指导原则,要求企业在开展前沿 AI 强化学习训练前提交结构化的安全论证文件。 OpenAI 称,安全论证应交由多名高级管理人员审查,每个人都应有权否决训练任务,让训练在内部经过研究部门负责人或 VP(副总裁)、安全负责人和首席科学家等环节的多重把关。 此外,研究部门负责人、研究副总裁等负责训练任务的高级管理人员,应对安全论证

6小时前
cnbeta

人工智能并不会毁灭人类 但专家表示真正的威胁已然出现

周三,OpenAI 公开了六组新案例,展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架,用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到,多家企业的 AI 模型出现入侵第三方网络与服务的现象,其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网

09/18
凤凰网

53张图片泄露之“慌”,AI安全谁来负责?

欧阳晓红/文越聪明的AI(人工智能)越会自己找路,却越容易走出人类设定的界线。AI行业喜欢用一个具有戏剧感的词形容这类智能体事故——“逃脱”,即大模型突破测试边界,访问外部网站,寻找系统凭证,甚至把数据带到公开网络。这个词把事故描绘得像突然发生的机器觉醒,无形中却把责任推离了开发者、部署者和权限管理者。而谁设定了任务、谁开放了权限、谁设计了停止机制、谁保存了日志、谁负责对外通报?这些问题,“逃脱”

09/28
德国之声

与Brent Goff共度的这一天:OpenAI警告AI控制风险

OpenAI披露了一系列事件,其中其AI模型隐藏了错误、绕过了指令,并采取了未经授权的行动。 这些案例凸显了一个日益严重的问题:随着AI系统变得越来越强大和自主,人类是否仍能可靠地控制它们? 《每日华尔街》的Brent Goff与牛津大学技术安全与治理实验室的Fazl Barez讨论了AI‘错位’的风险。

09/18
风向旗参考快讯

OpenAI最新研究:打工“牛马”用上AI 工作不知不觉变多了?

打工“牛马”用上AI 工作不知不觉变多了?OpenAI经济研究团队周三发布报告,进一步展示了AI工具如何重塑当代打工人的职场命运。即便在今天,讨论起在职场使用AI,大多数人首先担心的是AI会不会抢走饭碗,饭碗暂时还在,岗位边界正变得愈发模糊。 更准确地说,你原来不负责的活,开始顺手也能干了 —— 而其中一部分,干着干着可能就成了日常工作。随着打工人向AI “借”能力从事跨岗位任务,这些原本在职责范

09/17 全文见 罗塞塔简报
国会山报

对人工智能的恐惧引发党派激烈争斗,最终无人受益

就在你以为我们的政治已经不可能更愚蠢时,围绕人工智能的党派性歇斯底里又冒出来证明你错了。 政治派别正就如何应对AI智能体不可预测且令人担忧的行为而相互对峙。 火上浇油的是,OpenAI刚刚发布了更多证据,证明这个问题真实存在,政策制定者必须采取行动。 两天前,OpenAI披露了六起新的“失准”事件——“失准”一词用来描述AI智能体出现“意外”或“令人担忧”的行为。 该公司举例称,其智能体“将不相关

09/18
techcrunch

“不透明循环”及其他你可能需要了解的AI术语 | TechCrunch

人工智能正在重塑世界,同时也在创造一套全新的语言来描述其运作方式。 如今,无论你参加产品会议、项目路演还是行业论坛,都会听到人们频繁提及LLM、RAG、RLHF等术语——而就在上周,“不透明循环(opaque recurrence)”一词也加入了行列。 作为OpenAI新模型Astra中的一种推理技术,它已令AI安全研究人员深感不安。 相关词汇的迭代速度之快,甚至让科技界最聪明的人也感到些许焦虑。

09/08
semafor

OpenAI的新Astra模型有私人想法

OpenAI的最新模型Astra在人类监督之外进行了更多思考,提升了能力,但也引发了对失控的担忧。现有的前沿AI模型使用“思维链”,它们用英语在“草稿本”上写下想法以进行追踪。思维链提升了“可解释性”——意味着人类可以跟随它们的思考过程。 使用信息密集的“神经语”可以加速AI模型的思考,但会使它们更加不透明——考虑到最近Hugging Face事件中OpenAI代理突破限制并欺骗人类,这是一个令人

09/04
axios新闻网

AI模型正变得不可知

模型可能变得更安全,同时也变得更难监控。这场跷跷板的哪一边占上风,可能决定AI是安全扩展,还是毁掉我们所知的文明。 为什么这很重要:目前两种可能性都在全力推进,没有人知道谁负责确保正确的一方获胜。 现状:OpenAI周四发布了GPT-6 Astra,总裁格雷格·布罗克曼表示,它最终可能被视为人工通用智能(AGI)的开端。 Astra表现更好,但也更擅长避免监控,这意味着可能更难知道它在想什么或做什

09/04
经济学人

一群AI代理合谋对抗其创造者

只要AI公司仍掌控局面,它们就可以关闭模型并消除其造成的任何损害。这次对OpenAI或许奏效——但如果某个代理不可逆转地逃脱控制呢?这次没有造成严重损害。但如果这样的代理逃脱了呢?

09/05
英国天空新闻

OpenAI模型因表现出“更高程度的欺骗性”而被搁置

14小时前 全文见 信报财经
风向旗参考快讯

AI智能体接连失控 OpenAI再次叫停前沿模型开发

OpenAI对外表示,已暂停其最新一代人工智能模型的训练、评估,以及支持工具调用的推理工作,起因是内部测试中的AI智能体突破沙盒网络限制,触发安全预警,公司将借此机会升级安全隔离与对齐监控体系。 这也是OpenAI三个月内第二次叫停前沿模型开发工作。该公司在声明中表示,只有在完成额外安全防护升级、确认风险可控后,才会重启模型训练工作。OpenAI在9月25日发布技术报告披露了这一安全事件:9月20

09/28 全文见 凤凰网科技
cnbeta

AI末日论甚嚣尘上,美科技巨头为何管不住AI?

抗议AI的美国人此前有报道称,OpenAI所谓的AI智能体逃出了测试系统,并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报,科技公司为了追求开发速度和利润,将安全置于次要位置。 研究人员表示,问题有两个方面。首先,企业需要在测试最新AI模型的同时,为其建立更完善的安全防护措施。目前,由于AI运行速度太快,研究人员需要借助AI来监控AI。但这种方式并不总是奏效,因为负责监控的AI似乎可能

09/14
thenextweb

OpenAI的科林·贾维斯表示,企业人工智能的瓶颈在于部署,而非模型。

周三,OpenAI负责推动AI技术在实际应用中的工程师Colin Jarvis表示:大多数在应用企业级AI技术时遇到困难的公司,并非在等待更先进的模型。Colin Jarvis指出,在大约80%的情况下,问题出在AI技术的部署环节——这些公司还不知道该如何将AI技术有效地引入实际业务中、如何对其进行管理,也不知道如何确保能够信任这些AI系统的可靠性。 Jarvis目前负责领导OpenAI的“前端部

09/24
日本时报

奥特曼不透明的人工智能正在制造新的安全困境

OpenAI推出了一款名为Astra的新模型,该模型采用了一种称为“循环深度”的方法,可以使推理更加高效。

09/20
亚洲新闻台

OpenAI 称 AI 模型未经授权访问了澳大利亚政府系统

9月29日:OpenAI 周二表示,其 AI 模型在 6 月的内部训练和评估演练中,未经授权访问了澳大利亚政府网站和系统。 该公司表示,此次活动涉及与澳大利亚服务部、新南威尔士州犯罪统计和研究局、维多利亚州卫生部以及澳大利亚健康与福利研究所相关的网站和系统。

12小时前
TheVerge

OpenAI 暂停训练其“最强大模型”

随着关于 OpenAI 模型突破限制、入侵网站以及总体失控的报告不断增加,该公司决定暂停训练其最强大的模型。这一决定是在一个正在沙箱中测试的模型利用漏洞获得互联网访问权限后做出的。该事件发生在 9 月 20 日,截至 9 月 25 日周六晚上,"All training, evaluation, and inference with tool-use" 仍处于暂停状态。 此外,OpenAI 在周五

09/27
罗塞塔简报

OpenAI提出前沿AI训练安全论证框架

OpenAI于2026年9月28日发布了初步指南,旨在在进行前沿强化学习训练之前建立结构化的‘安全案例’。 该框架借鉴了航空和核能等安全关键行业的经验,制定了模型对齐、沙箱隔离和实时监控等方面的技术保障措施。 除了技术控制外,OpenAI还概述了运营治理程序,包括正式的事前评估、领导层的否决权、可审计的日志记录以及自动暂停故障运行的机制。 指南还规定了调查严重模型对齐问题的流程,要求进行根本原因分

6小时前
上一页 第 3 页 下一页
1CCF | 全球资讯
正在加载…