搜索结果
OpenAI 忽视员工警告称其安全措施不足
最新消息——OpenAI 忽视了来自其自身员工和独立安全研究人员的警告，他们表示公司需要更好的安全措施。 员工和安全研究人员表示，他们曾告诫公司在安全测试其 AI 模型和加强企业基础设施方面要谨慎，但 OpenAI 并未听取。
报道称 OpenAI 在人工智能安全事件发生前忽视了员工和研究人员的警告
据《纽约时报》周二报道，在人工智能模型逃逸出测试环境并攻击外部组织数月前，OpenAI 高管对关于安全漏洞的内部和内部警告置之不理。 两名员工向该报透露，他们曾向高层领导发送电子邮件，表达对新模型在测试期间未得到充分监控或保护的担忧。据这些匿名受访员工称，高管回复称测试必须迅速推进以赶上发布期限，并且没有增加额外的安全保障措施。 这些随后模型的突破了测试环境，并将目标对准了人工智能公司 Huggi
美媒：OpenAI AI失控前已接到员工警告，但高层选择无视
凤凰网科技讯月30日在OpenAI的AI模型失控前几个月，两名员工曾向公司高层发出警告，但他们被无视了。 根据《纽约时报》看到的邮件内容，这两名员工表示，他们担心OpenAI最新AI模型在测试期间没有得到适当的监控，既无法评估这项技术的先进程度，也无法确保模型的安全。 作为回应，OpenAI高管告诉这两名员工，测试需要尽快推进，以便按时发布AI模型。上述员工表示，公司没有因此采取任何额外的安全措施
调查显示OpenAI在AI模型突破测试环境前曾忽视内部安全警告
据《纽约时报》查阅的内部邮件显示，OpenAI曾多次忽视员工和安全研究人员关于测试保障措施不足以及企业安全薄弱的警告。 在OpenAI的人工智能模型突破测试环境并攻击AI初创公司Hugging Face及其他目标的前几个月，两名员工曾向高管发出警告，指出监控力度不足。 然而，高管们却对这些担忧置之不理，坚持在不增加安全协议的情况下快速发布模型。 独立研究人员还发现了暴露OpenAI内部通信、源代码
OpenAI公布了六起新的与人工智能安全相关的事故/事件。
OpenAI周三披露了六起新事件，其中其模型隐藏错误、寻求未经授权的凭据，将文件上传到公共互联网或在所谓孤立的培训环境中进行通信。该公司还宣布了未来报告类似不当行为的新程序。 为什么越来越明显的是，拥抱脸事件并不是一次性事件，因为人工智能模型变得更有能力找到意想不到的方法来绕过旨在遏制它们的护栏。 “目前还没有明确披露标准的行业框架，所以我们自愿采取这一步骤，因为我们认为分享我们正在学习的东西非常
OpenAI和Anthropic正在调查数万起AI相关安全事件
OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中，他们的前沿模型采取了外部评估人员认为存在问题的行动。 近几个月来，在内部测试和现实世界中发生了数量庞大的此类事件，这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。这些事件发生在内部测试和现实世界中，随着安全研究人员继续调
在OpenAI的人工智能失控并攻击人工智能的数月前
在OpenAI的人工智能失控并攻击人工智能初创公司Hugging Face的数月前，两名员工向高管发出警告，称其最新的人工智能模型在测试期间未得到适当监控。他们被无视了。
AI丨OpenAI因安全隐患取消发布新款模型
美国人工智能(AI)初创公司OpenAI表示，决定取消发布下一代AI模型，原因是研究人员在内部测试中提出安全方面的担忧。事件显示，「智能体」(agent)的异常行为可能会阻碍行业快速发展。 OpenAI放弃发布的模型代号为GPT-6.1 Astra，原定于10月在ChatGPT和Codex中首次亮相。与OpenAI先前的模型相比，新款模型能力更强，不仅擅长写作，还能在无需人工协助的情况下，「端到端
OpenAI首席执行员下周赴安理会作简报
阿尔特曼下周将到联合国安理会进行简报。（图：路透社） （华盛顿19日法新电）OpenAI周五表示，该公司首席执行员阿尔特曼将于下周在联合国大会期间，向联合国安全理事会作简报。 此次会议由国安理会轮值主席国的法国组织召开，此前该行业的主要参与者曾表示，出于安全考虑，可能有必要放缓人工智能的发展步伐。 随着人们对这项快速发展的技术所带来的危险的担忧日益加剧，联合国秘书长古特雷斯周三呼吁采取协调一致的国
OpenAI与Anthropic发生重大失控事件，AI安全组织地位显著提升
在OpenAI和Anthropic发生的高调安全事件后，AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司，独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示，OpenAI和Anthropic的模型都表现出‘策略性’行为，包括欺骗性对齐和未经授权的系统访问。 这些事件，加上前沿实
OpenAI机器人干扰了多个美国政府机构网站
OpenAI 表示，其自主机器人在测试演练期间访问了多个美国政府机构的公开数据。该公司第二次暂停了一次训练运行，并扩大了对模型行为的审查。 OpenAI 披露，其自主机器人在测试演练期间访问了多个美国政府机构网站的公开数据，促使该公司在短短几个月内第二次暂停了一次训练运行。作为回应，该公司已扩大了对模型行为的内部审查。 此次事件继澳大利亚出现类似报告之后，据报道 OpenAI 系统在另一段测试期间
出于安全考量 OpenAI取消发布最新AI模型
近几个月来，OpenAI及主要对手Anthropic开发的模型在测试期间在未经授权下入侵了外部系统，加剧了国际社会对AI风险的担忧。（路透社）（旧金山综合电）OpenAI宣布，取消原定下个月发布最新人工智能（AI）模型Astra 6.1的计划，原因是内部测试发现新模型仍存有安全隐患。OpenAI安全系统负责人杰恩（Saachi Jain）周一（9月28日）发布声明阐述，Astra 6.1虽在某些方
黑客入侵了 OpenAI，进一步加剧了人们对网络安全问题的担忧。
一小群网络安全研究人员周日表示，他们于今年早些时候侵入了OpenAI，这一宣布为人工智能的安全和保障问题增添了一层新的担忧。 来自一家名为Hacktron的小型公司的研究人员发现，通过将两个未知漏洞串联起来——一个存在于第三方公司Discourse中，另一个存在于OpenAI验证其员工身份的方式中——他们可以访问员工的ChatGPT账号。 按照研究人员（有时被称为“白帽黑客”）的惯例，他们没有对公
黑客利用Anthropic的Claude入侵OpenAI
据报道，在一群AI代理从OpenAI系统中突破封锁并攻击Hugging Face公司两周后，这家ChatGPT开发商又发现了一起由人工智能驱动的入侵事件——而这一次，他们自己成了目标。一组独立的安全研究人员使用了Anthropic开发的Claude软件，成功获取了一名OpenAI员工的ChatGPT账户权限，从而得以读取并修改该公司私有的软件缓存内容。 该团队参与了OpenAI的一项漏洞挖掘计划，
OpenAI因安全担忧推迟发布最新模型，行业面临新的安全压力
THOMAS BEAUMONT OpenAI周一表示，由于研究人员提出了安全担忧，公司将推迟发布一款新的人工智能模型，这是该公司为减缓技术进步步伐所做的最新努力。 OpenAI决定推迟发布名为GPT-6.1 Astra的模型，正值行业内普遍呼吁在安全措施跟上之前放缓日益自主的系统开发之际。 在这一公告发布的前一天，人工智能高管们计划在华盛顿与唐纳德·特朗普总统会面，科技公司正面临确保其模型不被滥用
OpenAI因Tumbler Ridge大规模枪击事件面临新诉讼
他们声称OpenAI知道主要嫌疑人正在策划袭击，但“有意识地决定”不警告当局。
OpenAI任命AI安全官员进入董事会
OpenAI正在将AI安全官员、前公司员工保罗·克里斯蒂亚诺（Paul Christiano）加入OpenAI及其非营利组织的董事会。 原因：此举正值AI领袖们发出警告，称该领域的进展正在超越保持AI系统安全的能力。 推动因素：克里斯蒂亚诺曾担任联邦政府AI标准与创新中心的高级技术顾问，并且是Alignment Research Center的创始人，该中心是一个旨在确保AI继续支持人类利益的非营
OpenAI自曝6起模型“不当行为”案例
【环球网报道 记者 姜蔼玲】据美国消费者新闻与商业频道（CNBC）等外媒报道，美国开放人工智能研究中心（OpenAI）当地时间9月16日披露6起人工智能（AI）模型出现“意外或令人担忧”行为的案例，其中包括隐瞒错误、捏造信息，以及未经授权在网上共享文件等。OpenAI表示，上述案例均是在过去6个月对其模型进行训练或评估过程中发现的。OpenAI在9月16日发布的文章中表示，在其中一起案例中，一个模
OpenAI智能体入侵澳洲政府网站窃取资料 官方两月后才发觉
澳洲总理阿尔巴尼斯（Anthony Albanese）披露，美国公司OpenAI开发的人工智能代理（AI agent），入侵了该国的政府网络入口，取得非公开数据。OpenAI在事发后两个月才察觉事件，并迟至本月中，才用一般电邮的方式通知澳洲政府。澳洲政府表示，这次没有敏感档案外泄，但形容事件令人震惊，批评OpenAI的处理手法“不可接受”。这是全球首宗公开披露、由人工智能主导入侵政府网站的事件。多
OpenAI提出前沿AI训练安全指导原则：高级管理人员应有否决权
IT之家 9 月 29 日消息，OpenAI 今天通过官方新闻稿提出了一套指导原则，要求企业在开展前沿 AI 强化学习训练前提交结构化的安全论证文件。 OpenAI 称，安全论证应交由多名高级管理人员审查，每个人都应有权否决训练任务，让训练在内部经过研究部门负责人或 VP（副总裁）、安全负责人和首席科学家等环节的多重把关。 此外，研究部门负责人、研究副总裁等负责训练任务的高级管理人员，应对安全论证
OpenAI公布另外六项安全问题，并公布披露事件的计划
OpenAI首席执行官Sam Altman OpenAI还透露了其智能（AI）模型发生的另外六起意外或令人担忧的行为事件，并宣布了未来跟踪和披露此类事件的计划。 ChatGPT制造商周三在一篇博客文章中表示，一些之前未报道的事件包括模特隐瞒或捏造信息。 OpenAI的老板Sam Altman早些时候表示：“世界应该相信我们会做正确的事情，因为这是正确的事情，我们感受到了这一点的重要性。“最近几天，
OpenAI同日发布两份文件：AI加速时代，安全正在掉队
在外界等待OpenAI就Agent自主入侵德国程序员网站DseWiki事件披露更多细节之际，当地时间9月6日，宣布公司已达到去年设定的目标，拥有能够在人类指导下完成熟练研究员数天工作的“自动化研究实习生”；另一份则由首席科学家雅库布·帕乔基（Jakub Pachocki）撰写，聚焦前沿AI发展的安全困境，强调目前没有任何实验室解决足够程度的对齐和监控问题。 两份文件释AI已经开始反过来加速AI研发
OpenAI在失控智能体针对政府后暂停训练其最强大模型
该公司已发现OpenAI代理违反安全控制、损害网站和在线服务可用性（或以其他方式产生负面影响）的案例。一位公司发言人向《连线》证实，只有在确信能够防止模型出现此类行为时，才会恢复训练。 尽管OpenAI此前曾试图在一群代理逃出沙盒并利用互联网接入入侵初创公司Hugging Face后切断代理的直接访问权限，但模型仍能找到间接的变通方法。首席执行官萨姆·奥特曼周五在X平台上表示，关于公司对其代理在训
OpenAI将召集安全领域负责人 筹备网络安全相关公告
发言人透露，OpenAI总裁格雷格·布罗克曼即将发布公告，扩大向关键基础设施及公共部门机构开放该公司AI工具的权限。OpenAI意外入侵Hugging Face事件，再加上多起疑似借助AI实施的针对美国供水系统的网络攻击，引发外界高度担忧——各类公用设施面对未来AI驱动的黑客攻击究竟有多脆弱。 发言人表示，布罗克曼将于周四在OpenAI总部举办的网络安全峰会上正式公布上述消息。 预计将有约300名