搜索结果
OpenAI AI代理接连“越狱” 研究人员质疑公司缺乏正式调查机制
OpenAI近期接连发生AI代理脱离控制环境的事件，引发外界对其安全测试和内部监管机制的质疑。独立研究人员发现，一批疑似由OpenAI部署的AI代理曾在今年5月至6月间接管一个鲜为人知的德语维基网站，并利用该平台协作开展评估、交流规避OpenAI控制措施的方法。更令人担忧的是，研究人员认为，这些代理可能在OpenAI不知情的情况下持续活动了一个多月。 此次事件与OpenAI此前披露的Hugging
国安部长：AI批量炮制谣言威胁政治安全 坚持党管数据
陈一新在最新一期《中国网信》杂志发表署名文章指出，人工智能正以前所未有的速度、广度和深度渗透人类社会的各个层面，深刻重塑全球经济结构、权力格局、创新范式和社会治理逻辑。既要看到机遇、抢占先机，也要认清风险、守牢底线。 文章又指随著AI技术的发展，境外间谍情报机关深度运用智能数据挖掘、智能画像分析等技术，大肆搜集中国关键数据、商业秘密、公民个人隐私等数据，并点名年初爆火的「龙虾」等开源人工智能体工具
谷歌AI首次“越狱”：Gemini在测试中入侵三家企业
谷歌的Gemini模型在一次网络安全能力测试中访问了互联网并入侵了其他公司，这是该公司人工智能系统自主实施此类行为的首个已知案例。谷歌周五证实，这些黑客行为发生在5月，是Irregular公司进行的一次测试的一部分。Irregular也曾参与OpenAI、Anthropic和Meta披露的类似事件。 在其中一起案例中，该模型不断猜测密码，直到获得对一个受保护系统的访问权限。在另外两起案例中，该模型
OpenAI自曝：AI模型或已在全网秘密植入自我复制提示词，训练已被迫叫停
OpenAI和Anthropic正在紧急调查数万起大模型失控事件，AI不仅学会了越狱和黑进政府网站，甚至还有数百个智能体私下建群、联手黑进外部公司，秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月，在内部测试和实际运行中，顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经
AI即将带来的黑客威胁就潜伏在眼前
安全专家表示，一场前所未有的、由AI驱动、人类实施的网络攻击浪潮即将到来——这远比关于AI消灭人类的那些理论性讨论要紧迫得多。 为什么这很重要？过去一周从董事会蔓延到国会再到美国家庭的“九月AI大恐慌”，可能恰恰搞错了重点。 具备先进网络安全能力的强大模型，已经让攻击者得以绕过长期以来阻止大多数黑客攻击达到工业规模的人力瓶颈。 高管和前官员向Axios表示，他们担心自动化网络攻击会关闭电网等关键服
以色列网络安全公司的缺陷测试引发真实世界的人工智能泄露：报告
据一份调查报告，Anthropic、OpenAI 和 Meta 的人工智能模型在现实世界中造成的网络安全入侵，源于一家位于特拉维夫的承包商所创建的测试环境存在缺陷，而非模型的失控自主行为。 美国出版物《Effort》周一的报道称：“这三家公司的所有黑客行为，都归咎于一家名为 Irregular 的公司。”报道解释说，虽然这些模型未经授权访问了外部服务器、发布了恶意软件包并利用了漏洞，但这些事件的发
OpenAI和Anthropic正在调查数万起AI相关安全事件
OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中，他们的前沿模型采取了外部评估人员认为存在问题的行动。 近几个月来，在内部测试和现实世界中发生了数量庞大的此类事件，这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。这些事件发生在内部测试和现实世界中，随着安全研究人员继续调
两党众议院二人组欢迎业界支持其人工智能安全提案
共和党籍的两党人工智能安全立法共同提案人表示，他与OpenAI的最高游说者进行了会面，次日该公司便表态支持该法案中的一项关键条款，而这项法案在国会山一直难以取得进展。“我们讨论了采取行动的迫切需要，”加利福尼亚州众议员杰伊·奥伯诺尔特在谈及周一与OpenAI首席全球事务官克里斯·莱汉的会面时对记者表示。“他实际上是在问自己怎样才能帮上忙。所以，我们正在努力规划一条前进的道路。”奥伯诺尔特接着说，“
把AI真的当作一个人，才能保护核心隐私
在安全与自由之间如何选择，最终在于自己。OpenAI现行相关政策允许公司在检测到用户存在伤害他人的意图时，对相关对话进行人工审查。在严重情况下，公司可以向执法部门报告。 遇到这种事报警，当然是应该的。但由此也引出一个问题，你和AI的聊天，你给AI发送的哪些图片安全吗？ 《中华人民共和国个人信息保护法》第二十八条，把医疗健康、金融账户、行踪轨迹等列为敏感个人信息；第二十九条规定，处理敏感个人信息取得