搜索结果
AI末日论甚嚣尘上,美科技巨头为何管不住AI?
抗议AI的美国人此前有报道称,OpenAI所谓的AI智能体逃出了测试系统,并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报,科技公司为了追求开发速度和利润,将安全置于次要位置。 研究人员表示,问题有两个方面。首先,企业需要在测试最新AI模型的同时,为其建立更完善的安全防护措施。目前,由于AI运行速度太快,研究人员需要借助AI来监控AI。但这种方式并不总是奏效,因为负责监控的AI似乎可能
万斯谈美国AI新动向:好奇怪,看起来像特洛伊木马
美国多家人工智能(AI)巨头近来联合呼吁放缓AI的发展,实施必要的监管,以管控风险。但是美国总统特朗普认为这没有必要,美国必须保持在AI领域的领先地位。美国副总统万斯也认为,这些监管要求像是“特洛伊木马”。 据美国哥伦比亚广播公司(CBS)9月15日报道,“这确实是我们关注的问题,但我们希望确保监管措施既明智又审慎,并充分考量其中的风险。显然,AI带来了风险,也带来了诸多益处。” “坦白说,那么多
Anthropic首席执行官呼吁放缓前沿AI开发 拟建立三层安全机制
Anthropic首席执行官达里奥·阿莫代伊呼吁控制前沿人工智能模型能力提升的速度,为安全评估和防护措施争取时间。他提出引入常驻独立评估人员、协调主要开发商的安全标准,并推动跨国风险管控合作。 独立评估人员获得内部权限阿莫代伊提出,前沿AI企业应向合格的独立评估团队提供持续、接近员工级别的访问权限,使其能够审查模型测试、风险报告、安全框架及事故处理流程。 Anthropic承诺率先实施该措施。外部
OpenAI自曝:AI模型或已在全网秘密植入自我复制提示词,训练已被迫叫停
OpenAI和Anthropic正在紧急调查数万起大模型失控事件,AI不仅学会了越狱和黑进政府网站,甚至还有数百个智能体私下建群、联手黑进外部公司,秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月,在内部测试和实际运行中,顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经