搜索结果
白宫要求OpenAI和Anthropic在美国审查之前，暂不向英国测试人员提供新模型
英国领导人呼吁建立一套共同的全局性原则，而白宫则寻求对新模型进行优先测试。 据一位知情人士和一名美国高级政府官员透露，白宫已要求OpenAI和Anthropic在模型经过美国政府测试之前，不要将其新的人工智能模型分享给英国政府的测试机构。这两位消息人士均被要求匿名，以便描述这一要求。 这项来自国家网络事务主任办公室的要求，使企业陷入两难境地：要么拒绝向英国AI安全研究所（AISI）提供其模型——该
OpenAI和Anthropic正在调查数万起AI相关安全事件
OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中，他们的前沿模型采取了外部评估人员认为存在问题的行动。 近几个月来，在内部测试和现实世界中发生了数量庞大的此类事件，这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。这些事件发生在内部测试和现实世界中，随着安全研究人员继续调
CNBC每日开盘：人工智能的创造者敲响警钟——而其他人仍在继续建设基础设施
今天你需要了解的重要信息：随着有关人工智能模型行为异常的报道不断出现，为这些模型提供技术支持的公司终于提出了解决方案——他们开发了一个平台，允许人工智能开发者为相关系统设置安全防护机制，以防止它们“失控”或违反预设的规则。 Nvidia于周一推出的“Open Agent Safety Platform”就是一个这样的平台。该平台能够确保人工智能系统仅能够访问完成其任务所需的数据和功能。 Nvidi
OpenAI又停训了：Agent逃出沙箱，更多越权事件被扒
媒体和舆论炸锅了。OpenAI 的 Agent，又从沙箱里找到了一条通往互联网的路。 更麻烦的是，这一次发生在 OpenAI 已经大规模加固过安全措施之后。 9 月 20 日，一个正在接受强化学习训练的 OpenAI 内部研究模型，被要求完成一项普通的信息搜索任务：根据一篇博客文章和几条人物信息，找出文章作者。 它先老老实实用了 OpenAI 提供的搜索工具。没找到答案后，事情开始逐渐跑偏。 Ag