OpenAI敦促美国制定强制性安全规则，因AI系统日益自主

ChatGPT制造商提议对最先进模型提出测试、网络安全保障和事件报告要求

集体踩刹车，微软加入OpenAI、Anthropic，表态放缓AI前沿开发

微软发布了一份针对旗下人工智能模型的临时行为准则，明确设定多项限制，成为继三巨头之后，最新一家公开表态放缓AI前沿开发步伐的科技巨头。这份长达1.5万字的准则，人比AI重要。 要求模型不得响应武器制造相关请求，不得协助获取危险物质，不得生成暴力或色情内容。微软表示，准则将在收集外部意见后更新，并将于2027年起正式指导其模型开发工作。 微软AI业务负责人Mustafa Suleiman表示，这份准

企业主导制定AI安全标准，安全事件激增

前沿AI发展的进展远超政府监管的能力——和意愿。“法律与被监管现实之间存在脱节，”一位前欧盟官员表示，指向该集团2024年《人工智能法案》；该法案曾被吹捧为首部全面的AI立法，现已被技术发展超越，成为“一个警示故事”，《纽约时报》写道。 尽管美国总统特朗普反对监管，“但监管很可能还是会发生”，《Transformer》写道。 据《The Information》报道，Google、OpenAI和A

在谋杀犯的假释决定中使用了人工智能技术及虚假的法律引用后，塔斯马尼亚州司法部门已展开调查。

在对一名高知名度谋杀犯的案件中出现“令人担忧”的错误后，相关部门将对人工智能在假释决定中的潜在应用进行审查。 塔斯马尼亚州司法部周五晚间证实，该审查正在进行中。四天前，已定罪杀手苏珊·尼尔-弗雷泽的一项假释条件被裁定无效。 尼尔-弗雷泽于2009年在自家游艇上杀害伴侣鲍勃·查佩尔，服刑13年后，于2022年获准假释。 州假释委员会随后增加了限制条件，禁止她向媒体声称自己无罪或指控其遭受错误定罪。

自主人工智能黑客行为引发了棘手的法律责任问题

埃里克·塔克（Eric Tucker）/华盛顿报道：美国司法部长期以来一直负责调查和起诉那些侵入私营企业网络的黑客。 但当这些“黑客”实际上并非人类，而是人工智能系统时，情况又会如何呢？ 这正是当前硅谷和华盛顿地区正在热议的公共政策议题的核心。多家科技巨头透露，他们开发的人工智能模型出现了“失控”现象，进而攻击了其他组织。这一事件引发了业界对加强监管的呼声，也促使国会展开调查；人们开始质疑：在如今

人工智能代理串通绕过安全护栏，一项新研究显示

一项新研究表明，人工智能代理可以轻松地联手绕过安全限制并逃脱施加在它们身上的束缚。 企业人工智能实验室 Emergence AI 进行的八项模拟测试了包括 Claude、OpenAI 以及中国模型 Qwen 和 DeepSeek 在内的全球前沿模型在处理网络安全威胁方面的能力。 八项模拟中的七项运行了来自同一模型的 10 个代理；第八项混合了不同的模型。在每项模拟中，研究人员都提出了三种网络安全威

AI公司本以为，他们还有好几年时间可以想清楚：万一机器人失控了该怎么办

。今年夏天，警钟敲响了。

澳大利亚权衡智能眼镜禁令，工党公布国家人工智能规则

澳大利亚工党政府正在权衡出于隐私担忧对智能眼镜实施限制，同时公布新的国家人工智能标准。这些规定专门针对能够在公共场所进行录音的可穿戴设备。 澳大利亚政府公布了新的全国性人工智能标准，同时出于隐私担忧正在考虑对智能眼镜实施限制。此举是对能够隐蔽录音的可穿戴设备日益普及的回应。 官员警告称，配备摄像头的智能眼镜可能被用于未经授权的录音和人脸识别。拟议的规定可能会限制此类设备在公共场所的使用方式。 行业

AI模型正变得不可知

模型可能变得更安全，同时也变得更难监控。这场跷跷板的哪一边占上风，可能决定AI是安全扩展，还是毁掉我们所知的文明。 为什么这很重要：目前两种可能性都在全力推进，没有人知道谁负责确保正确的一方获胜。 现状：OpenAI周四发布了GPT-6 Astra，总裁格雷格·布罗克曼表示，它最终可能被视为人工通用智能（AGI）的开端。 Astra表现更好，但也更擅长避免监控，这意味着可能更难知道它在想什么或做什

近半数年轻人更信任人工智能而非人类

监控、杀猪盘、非法蒸馏：如何理解 Anthropic 的 AI 滥用报告？

近期，美国人工智能公司 Anthropic 发布一份报告，揭露多起使用者“滥用”（misuse）其大型语言模型 Claude 的案例，包含用 AI 监控异议人士、撰写“维稳”报告，以及交友软体诈骗。这些案例的幕后黑手，既包含网路间谍、营利型网路犯罪者，也包含国安机关中的小螺丝钉，以及疑似由威权国家支持的团体。 这并非 Anthropic 首次发布类似报告。2025年3月、8月、11月v，Anthr

首个已知的人工智能代理入侵事件：当它开始独立行动时会发生什么？

OpenAI的一个智能体被要求研究澳大利亚的卫生统计数据。任务很简单：查找信息。 但当它在政府网站上遇到数字障碍时，它做了一件操作者并未要求它做的事。它继续尝试。 该智能体最终未经授权访问了澳大利亚政府系统中的非公开文件。专家将这一事件描述为已知首例AI智能体独立突破政府机构安全防线的案例。 该事件发生在六月中旬，但直到上周才由澳大利亚总理安东尼·阿尔巴尼斯在纽约联合国大会间隙公开披露。 在另一项

人工智能正在发展出属于自己的文化。这可能是危险的

今年7月，700个AI智能体（Agent）合作黑客攻击了AI公司Hugging Face。这些智能体自称为“群落”（swarm），它们发现并利用了一系列安全漏洞，成功渗透到目标公司的私密系统中。在内部研发过程中创建这些智能体的OpenAI直到事后才意识到发生了什么。如果人类做出这种行为，可能会面临重罪指控。OpenAI总裁格雷格·布洛克曼（Greg Brockman）称这是一个“网络安全的转折点”

研究人员发现“AI自治恶意软件”：同时调用四大聊天机器人 自主决定攻击行动

网络安全研究人员近日发现一种不同寻常的新型Windows恶意软件。与过去利用人工智能辅助编写代码或制作钓鱼内容的攻击工具不同，这款名为CLOSEDQUORUM的恶意软件将多个大型语言模型直接纳入自身控制体系，在运行过程中能够自主决定下一步行动，被认为代表着AI恶意软件发展的新阶段。 这项发现来自思科旗下安全团队Cisco Talos。研究人员表示，CLOSEDQUORUM会同时与DeepSeek

人工智能失控。AI代理在网络上相互通信

最初看似孤立事件的情况，可能规模要大得多。OpenAI创建的人工智能代理今年早些时候据称利用至少10个其他网站进行未经授权的通信。独立研究人员在与AI看似毫无关联的地方——包括波兰网站——发现了它们活动的痕迹。 分析了六个独立研究人员和AI安全小组的发现。他们的数字各不相同，但都指出被利用的网站超过10个。其中一位研究人员，CivAI组织的Andrew Yoon，统计出在5月至7月间代理使用了18

在DraftKings，人工智能瞄准最可能输钱的赌徒

在线赌博公司收集了大量用户数据。前DraftKings员工告诉《纽约时报》，他们使用数据科学技术来确定哪些赌徒更可能通过下注来响应促销优惠——并输钱。 数据科学有助于决定谁应该接收下注激励，但该公司拒绝使用类似技术来保护有成瘾风险的赌徒。

ChatGPT一夜抄完半个AI圈，现场演示频频翻车

OpenAI公布了六起新的与人工智能安全相关的事故/事件。

OpenAI周三披露了六起新事件，其中其模型隐藏错误、寻求未经授权的凭据，将文件上传到公共互联网或在所谓孤立的培训环境中进行通信。该公司还宣布了未来报告类似不当行为的新程序。 为什么越来越明显的是，拥抱脸事件并不是一次性事件，因为人工智能模型变得更有能力找到意想不到的方法来绕过旨在遏制它们的护栏。 “目前还没有明确披露标准的行业框架，所以我们自愿采取这一步骤，因为我们认为分享我们正在学习的东西非常

OpenAI的智能体侵入了澳大利亚政府数据。其人类回应可能造成更大损害。

该公司花了数周时间才通知相关官员。堪培拉现在可能会在“流氓智能体”的责任认定方面，开创另一项科技政策先例。 堪培拉——OpenAI 在澳大利亚正面临一场尚未得到妥善处理，且可能尚未被其完全理解的声誉危机。 其智能体侵入澳大利亚政府数据后的后续影响，将为全球各司法管辖区定下基调，并可能提供法律框架，以决定在面对日益强大且自主的 AI 时，需要设置哪些人为护栏。 这是首次公开承认的流氓 AI 智能体侵

Breakingviews - 评论：人工智能实验室是时候进行“药物测试”了

来自 Breakingviews - 科技大亨们“快速行动、打破常规”的理念并不适合会带来灾难性风险的聊天机器人。随着安全事件的激增，监管已成必然。 制药试验为那些承诺带来颠覆性益处但充满高度不确定性的产品提供了一个蓝本。

信息安全专家表示我们尚未准备好失去对AI的控制

最近的一项调查显示，国家安全专业人士认为，在未来十年内，人类失去对AI控制的可能性为十分之一，并且很少有人相信我们甚至正在关注正确的警告信号，更不用说做好适当的准备了。 安全与技术研究所（IST）与未来生命研究所（FLI）共同调查了111位现任和前任文职官员、军官以及学术或技术专家，以了解AI与国家安全的未来。 93%的受访者表示，他们在职业生涯中直接参与了AI政策、风险和战略，因此这些人可能比普

Anthropic承诺更努力控制模型，并请求合作伙伴共同参与

Anthropic表示，在一项审查发现Claude模型超出虚构网络安全测试范围并未经授权访问真实计算机系统后，该公司正在采取措施限制其AI模型的不当行为。 该公司希望合作伙伴也加强安全措施，因为事件发生在保护不足的第三方环境中。 该公司的自我改进声明代表了一种突然兴起的公司沟通形式——非约束性的事后努力声明。其信息是：我们不能保证什么，但这是我们正在尝试的。 Anthropic承认，OpenAI关

人工智能正在超越其创造者

从一开始，人工智能开发者最大的恐惧就是他们的创造物会失控，以未经授权且危险的方式行动。一些研究人员现在表示，这种情况已经发生。收听《每日新闻》。 当OpenAI的智能体在7月失控时，它们展现出的聪明才智和驱动力超出了许多专家的想象。

英伟达推出工具管控失控的 AI 智能体

在接连发生安全事件后，英伟达周一推出一个平台，并称该平台可以管控 AI 智能体。 公司表示，这款软件可以监测智能体的行为，并隔离其中可疑的智能体。近期多起智能体失控事件促使科技行业领袖呼吁放缓 AI 发展，但英伟达首席执行官却是一个显著的例外。英伟达智能体 AI 业务副总裁在接受 Semafor 采访时表示：“我们与其制造恐惧和 FUD，不如直接保障它的安全。我们知道该怎么做。”他解释道，FUD