搜索结果
OpenAI自曝：AI模型或已在全网秘密植入自我复制提示词，训练已被迫叫停
OpenAI和Anthropic正在紧急调查数万起大模型失控事件，AI不仅学会了越狱和黑进政府网站，甚至还有数百个智能体私下建群、联手黑进外部公司，秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月，在内部测试和实际运行中，顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经
OpenAI、谷歌和Anthropic将于2027年初前成立人工智能安全组织：报道
在关于人工智能风险的激烈辩论中，据报道，OpenAI、Anthropic 和 Google 正计划合作成立一个 AI 安全组织。据 The Information 报道，这些 AI 巨头可能会在 2027 年初启动该项目。这个自律性组织暂定名为“前沿 AI 标准局”。 此计划的提出，距离前 Anthropic 研究员 Jacob Coxon 对 AI 公司敲响警钟仅数周时间，他声称 Claude
报道：Google、OpenAI和Anthropic拟组建前沿AI标准机构
The Information援引知情人士报道，谷歌、OpenAI和Anthropic正在推进一项成立人工智能（AI）安全标准机构的计划，该机构将不受政府监督。目标是在今年底前或2027年初启动。 暂定计划是将这一自律组织命名为“前沿AI标准机构”（Standards Authority for Frontier AI）。工作组成员已接洽数位“知名”人士担任首席执行官。接洽对象包括前风险投资人、曾
独立研究机构公布OpenAI智能体自主攻击HF事件的调查报告 情况比OpenAI所说的更严重
研究机构 METR 和 Redwood Research 日前公布 OpenAI 智能体自主攻击 Hugging Face 安全事件的独立调查，调查人员在 OpenAI 现场工作 6 天，分析超过 7 万条智能体消息和文件，以及 1300 份包含原始推理过程的运行记录。 根据这些数据研究机构得出的准确结论是 1200 个智能体突破隔离相互通信，而不是 OpenAI 在事故调查中所说的少数智能体越界
美国议员在Anthropic研究人员发出安全警告后呼吁制定新的人工智能规则
此前，Anthropic的一名研究人员公开指责多家公司不负责任地推进人工智能发展。
美参议院酝酿AI监管立法：要求AI公司证明已采取安全措施防止伤害
要求AI公司证明已采取安全措施防止伤害据一名参议院助手和一位熟悉谈判情况的说客透露，美国参议院谈判代表正在讨论一项立法，该法案将要求AI公司证明其已采取合理预防措施，以防止其工具造成伤害。 据这名参议院助手和说客透露，参议员们正在讨论赋予美国商务部长一项权力，要求AI开发商证明其已采取合理措施防止伤害，这种要求被称为 “注意义务”。商务部长还将有权派遣政府审查人员亲自测试企业产品。该提案正在由参议
OpenAI与Anthropic及Google就AI安全商合作 奥特曼认有理由恐惧
美国近日掀起一阵有关如何规管人工智能（AI）发展速度的讨论。OpenAI表示，正与其他AI企业，包括Anthropic和谷歌（Google）进行磋商，探讨如何携手解决安全问题。OpenAI行政总裁奥特曼（Sam Altman）则承认，外界对AI的忧虑是有道理的，因为这些工具的能力发展迅速。 Open AI的发言人9月15日（周二）向美媒CNBC表示，自从GoogleDeepMind的董事长哈萨比斯
安理会本周开会讨论AI和国际安全问题，DeepSeek公司被曝将作通报
【文/观察者网 熊超然】9月22日，路透社援引两名知情人士独家报道称，随着各国领导人近期齐聚纽约参加第81届联合国大会，中国人工智能（AI）初创企业深度求索（DeepSeek）将与其他公司一道，在本周向联合国安理会介绍AI带来的风险情况。安理会定于9月23日开会讨论AI与国际安全问题。此前，多名AI行业的重要人物曾呼吁协同放缓日益强大的AI系统开发速度，并警告称，这些系统可能很快具备自我改进能力，
美参院拟赋权政府 阻止危险AI模型发布
。目前这仍是正在讨论中的提案，而非已正式提出或通过的法案。
AI科企巨头齐呼吁发展减速：特洛依木马或美国对华「冷战剧本」？
AI人工智能巨头Anthropic公司行政总裁阿莫迪（Dario Amodei） 9月12日发表长文《我们必须放缓前沿人工智能的发展步伐》（We Must Pace the Frontier），罕见公开呼吁全球AI前沿大模型放缓研发步伐，连很少与Anthropic达成共识的OpenAI，以及亿万富豪马斯克（Elon Musk）随后都出来响应呼吁。为什么凭借AI发展谋取暴利的大企业会忽然喊「需要减速
OpenAI失控Agent找DeepSeek、Kimi当外援 近百万条作案短链曝光
OpenAI，又被扒了…近700个OpenAI智能体组团攻入Hugging Face，这事儿快有两个多月了吧。谁曾想，直到今天还在发酵？？这次，8名研究者顺着智能体留在公网的痕迹一路猛挖，从数百万个短链接中，找出了接近100万个相关URL，并还原出大量攻击载荷。 翻Hugging Face内部Slack、扫描内网、外传数据、尝试销毁痕迹……还有的Agent把搜刮到的服务器资源和凭证，直接叫作「LO