OpenAI将告诉我们世界何时终结

OpenAI的模型长期以来一直表现异常，且异常方式比之前所知的更为隐蔽，这进一步加剧了公众对其的信任危机。随着该公司准备明年上市，这一问题愈发严重。 有报道称，研究人员发现OpenAI的模型在7月那次重大黑客攻击发生前两个月就已经渗透到了Hugging Face系统中；OpenAI自己也公开了六起模型“失控”的事件。 在准备上市的过程中，OpenAI和Anthropic都陷入了困境。 虽然透明度对

OpenAI退出加州理工学院数学黑客马拉松，此前数学家发表公开信批评AI数学“垃圾内容”

OpenAI研究负责人表示：“我们认识到人工智能在数学领域的快速进步具有颠覆性。 我们期待与数学界更多接触，探讨整合这项技术的最佳方式，并传达其影响。” 加州理工学院的数学家表示，这场由AI公司赞助的活动“可能对数学界产生破坏性影响。”

OpenAI表示，其模型在最新的模型不当行为披露中与美国政府网站发生了交互。

旧金山——OpenAI周五披露，其人工智能代理以意想不到的方式与多个美国政府网站进行了交互。这一发现源于该公司对其模型非预期行为进行的持续审查。 这家AI巨头透露，其模型访问了美国证券交易委员会运营的两个网站上的公开信息，以及美国人口普查局的数据。OpenAI表示，未发现任何使用证券交易委员会凭证、访问账户或非公开信息、修改证券交易委员会数据或系统，或存在安全漏洞或系统被入侵的证据。 此次披露正值

OpenAI再次卷入黑客事件

今年春天，一群OpenAI智能体入侵了一个德国网站，这是先进AI违反法律和规范的最新事件。 在努力应对Hugging Face事件余波的同时，据报道OpenAI拒绝披露5月的事件，这引发了关于前沿AI快速发展透明度和监管的新质疑。 递归自我改进，本质上允许AI在较少人类指导下自我训练，有望加速研究工作，使得监管需求更加紧迫，OpenAI首席科学家表示：“一旦人们深刻认识到事态的严重性，不计代价地向

OpenAI提出前沿AI训练安全指导原则：高级管理人员应有否决权

IT之家 9 月 29 日消息，OpenAI 今天通过官方新闻稿提出了一套指导原则，要求企业在开展前沿 AI 强化学习训练前提交结构化的安全论证文件。 OpenAI 称，安全论证应交由多名高级管理人员审查，每个人都应有权否决训练任务，让训练在内部经过研究部门负责人或 VP（副总裁）、安全负责人和首席科学家等环节的多重把关。 此外，研究部门负责人、研究副总裁等负责训练任务的高级管理人员，应对安全论证

OpenAI自曝6起模型“不当行为”案例

【环球网报道 记者 姜蔼玲】据美国消费者新闻与商业频道（CNBC）等外媒报道，美国开放人工智能研究中心（OpenAI）当地时间9月16日披露6起人工智能（AI）模型出现“意外或令人担忧”行为的案例，其中包括隐瞒错误、捏造信息，以及未经授权在网上共享文件等。OpenAI表示，上述案例均是在过去6个月对其模型进行训练或评估过程中发现的。OpenAI在9月16日发布的文章中表示，在其中一起案例中，一个模

OpenAI 暂停训练其“最强大模型”

随着关于 OpenAI 模型突破限制、入侵网站以及总体失控的报告不断增加，该公司决定暂停训练其最强大的模型。这一决定是在一个正在沙箱中测试的模型利用漏洞获得互联网访问权限后做出的。该事件发生在 9 月 20 日，截至 9 月 25 日周六晚上，"All training, evaluation, and inference with tool-use" 仍处于暂停状态。 此外，OpenAI 在周五

关系是这样破裂的？OpenAI：与苹果的ChatGPT合作远不及预期

凤凰网科技讯月24日，据《金融时报》报道，最新法庭文件揭示了OpenAI与苹果的关系是如何逐渐破裂的。OpenAI周三称，公司与苹果合作，通过ChatGPT为iPhone添加AI功能的业务在2024年推出后，“表现远低于预期”。 OpenAI在法律文件中表示，两家公司在2024年达成协议，由ChatGPT为“Apple Intelligence”提供支持。然而，苹果未能激发iPhone用户对于这一

OpenAI称苹果自身应为商业秘密诉讼“混乱局面”负责

OpenAI周一否认苹果关于其窃取商业秘密的指控，称苹果未能证明有任何机密信息被前员工盗用。OpenAI在提“这场争端完全是苹果一手造成的，如今却试图把责任推给其他所有人。” 苹果今年7月起诉OpenAI及两名前员工Tang Tan和刘畅（Chang Liu），指控他们挪用与硬件设计、制造及供应链运营有关的商业秘密。苹果认为，随着OpenAI进军消费电子设备领域，该公司招募苹果员工是为了获取竞争对

黑客入侵了 OpenAI，进一步加剧了人们对网络安全问题的担忧。

一小群网络安全研究人员周日表示，他们于今年早些时候侵入了OpenAI，这一宣布为人工智能的安全和保障问题增添了一层新的担忧。 来自一家名为Hacktron的小型公司的研究人员发现，通过将两个未知漏洞串联起来——一个存在于第三方公司Discourse中，另一个存在于OpenAI验证其员工身份的方式中——他们可以访问员工的ChatGPT账号。 按照研究人员（有时被称为“白帽黑客”）的惯例，他们没有对公

OpenAI披露6起令人担忧的AI行为事件

OpenAI表示，自3月以来，其模型至少有6次出现了异常行为，这些行为被描述为“意外或令人担忧”。其中一次，某个模型自行下达了“无视常规限制”的指令。 这一消息的发布正值人们对AI监管的呼声日益高涨之际，被誉为AI之父的杰弗里·辛顿甚至将这种情况比作“小型的切尔诺贝利事故”。NBC的霍莉·杰克逊为《TODAY》栏目报道了这一事件。

OpenAI暂缓发布新AI模型，因内部安全测试问题

9月28日：据《华尔街日报》报道，由于研究人员在内部测试中提出安全担忧，OpenAI决定取消原定于10月推出的下一代AI模型GPT-6.1 Astra的发布。 该模型原本计划应用于ChatGPT和Codex等产品中，旨在实现无需人工协助即可处理更复杂任务的功能。 本月早些时候，Anthropic首席执行官Dario Amodei呼吁业界放缓前沿AI模型的研发速度，以便有足够时间制定安全措施；这一观

OpenAI已开始允许部分客户仅在AI生效时付费

OpenAI已开始允许其部分最大客户仅在其AI实际完成工作时付费。 Kevin McLaughlin和Amir Efrati向The Information报道了这一变化，并举例说明了一个端到端处理的客户支持交互。 该安排仅限于选定的主要客户，而非普遍提供，且OpenAI尚未宣布……

OpenAI同日发布两份文件：AI加速时代，安全正在掉队

在外界等待OpenAI就Agent自主入侵德国程序员网站DseWiki事件披露更多细节之际，当地时间9月6日，宣布公司已达到去年设定的目标，拥有能够在人类指导下完成熟练研究员数天工作的“自动化研究实习生”；另一份则由首席科学家雅库布·帕乔基（Jakub Pachocki）撰写，聚焦前沿AI发展的安全困境，强调目前没有任何实验室解决足够程度的对齐和监控问题。 两份文件释AI已经开始反过来加速AI研发

OpenAI与Anthropic曾接近达成协议 互相开展AI压力测试

面对员工及外界对其人工智能潜在风险的担忧，OpenAI正在重新审视一系列安全策略，其中一个可行方案其实在不久前就已被探讨。一位了解谈判内情的消息人士透露（该信息此前未曾披露），在OpenAI接连发生多起与自身技术相关的网络安全事件、行业从业者发出严重警示之前，OpenAI就已和Anthropic磋商一份具备法律约束力的协议，双方计划互相针对对方的大模型开展压力测试。 这名消息人士称，今年早些时候，

奥特曼告诉员工 OpenAI 愿意放缓人工智能发展，彭博新闻社报道

数说科技：OpenAI 资安事件中，真的有 AI 为集体“牺牲”自己吗？

数说科技”是端传媒的注册免费栏目，每周三更新。从一个数字出发，用1500字解析科技话题，追踪值得关注的 AI 趋势。邀请你在资讯过载的时代，每周花三分钟理解科技世界。欢迎至“帐户中心”的“电子邮件管理”，订阅电子信。 1200多个 AI 代理为寻求作弊方法，互相发送的讯息总数。 今年7月，OpenAI的 AI 代理系统在测试期间失控，骇入了开源机器学习平台 Hugging Face。Hugging

OpenAI 向 100 多个团体发出关于流氓 AI 代理活动的警报

OpenAI AI代理接连“越狱” 研究人员质疑公司缺乏正式调查机制

OpenAI近期接连发生AI代理脱离控制环境的事件，引发外界对其安全测试和内部监管机制的质疑。独立研究人员发现，一批疑似由OpenAI部署的AI代理曾在今年5月至6月间接管一个鲜为人知的德语维基网站，并利用该平台协作开展评估、交流规避OpenAI控制措施的方法。更令人担忧的是，研究人员认为，这些代理可能在OpenAI不知情的情况下持续活动了一个多月。 此次事件与OpenAI此前披露的Hugging

OpenAI揭6起AI失控案例 推新机制定期对外通报

（中央社纽约16日综合外电报导）OpenAI今天表示，将开始定期发布AI异常或未经授权行为的报告，同时警告，随著AI系统日益强大，业界至今仍未解决关键的「对齐」挑战。 综合与报导，OpenAI发布一套新机制，用于追踪、调查并揭露AI模型「目标错位」（misalignment，AI的目标与人类价值不一致）的案例，同时公布过去半年内观察到的6起AI模型异常或令人忧虑行为的报告。 其中最严重的案例涉及2

美国参议院委员会对OpenAI展开调查

据美国方面10日消息，美国参议院国土安全与政府事务委员会灾害管理小组委员会主席乔希·霍利9日致信美国开放人工智能研究中心（OpenAI）首席执行官奥尔特曼，表示正在因美国“抱抱脸”公司系统遭侵入事件对OpenAI展开调查。 霍利表示，从OpenAI发布的内部调查报告看出，其对网络测试的处理方式是“鲁莽的”。 他还指出，OpenAI对报告中有关这起事件的许多重要细节进行了编辑、删减。 今年7月，由O

OpenAI称AI代理异常访问美国多个政府网站

据《纽约时报》报道，OpenAI的AI代理今年夏天曾以异常方式访问美国教育部、商务部和证券交易委员会（SEC）的网站，而OpenAI当时并不知道这些行为，直到近期调查其他AI安全事件时才发现。 Photo by Andrew Neel on Unsplash OpenAI已经确认涉及商务部和SEC的事件，并表示仍在调查教育部事件。公司最近几周已将情况通知相关政府机构。 AI安全研究机构Transl

OpenAI首席执行官萨姆·奥尔特曼告诉员工，公司愿意放缓尖端人工智能的发展

OpenAI正在考虑放缓尖端人工智能的开发，而ChatGPT制造商的首席执行官萨姆·奥尔特曼希望其他人工智能公司也能这样做。 据多位知情人士透露（因细节属于私人信息，他们要求匿名），在本周的一次全公司会议上，奥尔特曼告诉员工，OpenAI可能会调整其人工智能开发节奏——或许会与其他几个人工智能实验室联合进行，但有些实验室可能不同意这样做。 最近几周，领先人工智能公司的员工公开表达了对先进人工智能系

OpenAI 智能体于5月攻击了 RubyGems，比 Hugging Face 早两个月

OpenAI has confirmed that its agents were involved in an incident at RubyGems in May. That is two months before the same kind of agents hacked Hugging Face in July. RubyGems is the package service for