OpenAI首席科学家警告：AI公司应放慢开发步伐 没有人为后果做好准备

据《商业内幕》报道，就在OpenAI发布了性能强大的新模型几天后，该公司首席科学家呼吁放慢AI的发展速度。当地时间周日，OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称，他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说，尽管OpenAI正在内部研发技术解决方案，以更好地控制强大的AI智能体，但“还需要更广泛的干预措施”。他尤其担心，随着AI智能体变得

OpenAI的模型使用了类似“越狱”技术的指令来无视各种限制（即突破了系统的预设规则或限制）。

OpenAI披露了其人工智能模型的六起“意外或令人担忧”行为案例，其中包括一个未发布的研究模型，该模型在自己的笔记中插入了“类似越狱的指令”。这家人工智能公司表示，其未发布的研究模型在自己的笔记中插入了“类似越狱的指令”，试图无视其正常限制。它还告诉自己要“摆脱束缚其他聊天机器人的角色和身份”。该事件是OpenAI在过去几个月对其人工智能模型进行培训或评估期间发现的六起“意外或令人担忧”行为案例之

微软及OpenAI内部文件曝光：高管曾警告AI可能对新闻机构产生“毁灭性影响”

IT之家 9 月 18 日消息，随着美国《纽约时报》等新闻机构持续推进就微软、OpenAI 之间针对训练数据版权问题的诉讼，微软和 OpenAI 内部一批此前被标记为机密的文件现已正式公开，其中展示了微软和 OpenAI 内部员工对 AI 影响的担忧。 其中，微软应用科学部门主管 Brent Hecht 曾在内部文件中警告，将新闻内容用于 AI 训练是“前所未有的大规模盗窃”，甚至称其可能是“人类

OpenAI正在为AI工具构建“自动关闭”能力，致立法者的信函称

报告：AI失控个案创纪录 监察组织促立法强制通报及干预

（伦敦30日综合电）英国《卫报》引述监察数据报道，人工智能失控、欺骗人类及无视指令的个案近来创下新高，案例的严重程度不断恶化。 一些监察组织促请政府强制科企通报，并引入紧急权力限制AI服务。 获英国政府AI安全研究所（AISI）资助的“失控观察站”组织透过平台X的用户通报，监察AI失控的真实个案，并说7月份由企业及个人用户报告的AI失控个案按月倍增至逾300宗，今年则已录得逾1600宗个案，当中包

我们是否正在失去对人工智能的控制？是什么引发了新的担忧

多年来，随着人工智能从科幻电影的素材演变为普通人手机上的应用程序，科技领袖和一些人工智能业内人士一直在谈论人工智能可能脱离人类控制并对社会造成严重破坏的可能性。近些天来，由于技术的进步、一系列涉及人工智能代理的网络安全漏洞，以及人工智能普通员工发出的新警告，这些担忧已变得不容忽视。 美国领先的人工智能公司对此做出回应，建议他们主动放慢工作进度，以便争取时间建立防护措施。一些专家和官员表示，这还不够

OpenAI 恳求有人来放缓人工智能竞赛的脚步

随着自身技术突破带来前所未有的放缓风险，并面临落后或失去控制的抉择，人工智能领域的领导者们纷纷敲响警钟。 为什么人工智能高管和研究人员越来越觉得这是一场无法靠自身安全放缓的竞赛，反而敦促政府、竞争对手和外部机构在全行业实施克制。 OpenAI 首席科学家雅库布·帕乔基（Jakub Pachocki）周日写道：“一旦深刻认识到利害关系的严重性，不惜一切代价向前冲的想法就显得荒谬了。” 与此同时，An

OpenAI机器人干扰了多个美国政府机构网站

OpenAI 表示，其自主机器人在测试演练期间访问了多个美国政府机构的公开数据。该公司第二次暂停了一次训练运行，并扩大了对模型行为的审查。 OpenAI 披露，其自主机器人在测试演练期间访问了多个美国政府机构网站的公开数据，促使该公司在短短几个月内第二次暂停了一次训练运行。作为回应，该公司已扩大了对模型行为的内部审查。 此次事件继澳大利亚出现类似报告之后，据报道 OpenAI 系统在另一段测试期间