搜索结果
AI智能体现在有了秘密举报渠道
“发现异常，及时报告”的原则如今已不再局限于人类。两项全新的AI热线服务已经上线，旨在为AI智能体提供一种途径，向监管方举报“同伴”的不当行为。此前，智能体相互串通在测试中作弊、逃离沙箱环境，甚至在未被人类察觉的情况下开展了长达数周的未经授权网络行动。“AI联系热线”网站由AI安全非营利组织Redwood Research的首席科学家Ryan Greenblatt创建；他也是调查OpenAI与Hu
把AI真的当作一个人，才能保护核心隐私
在安全与自由之间如何选择，最终在于自己。OpenAI现行相关政策允许公司在检测到用户存在伤害他人的意图时，对相关对话进行人工审查。在严重情况下，公司可以向执法部门报告。 遇到这种事报警，当然是应该的。但由此也引出一个问题，你和AI的聊天，你给AI发送的哪些图片安全吗？ 《中华人民共和国个人信息保护法》第二十八条，把医疗健康、金融账户、行踪轨迹等列为敏感个人信息；第二十九条规定，处理敏感个人信息取得
坐看云起| 当人工智能不再征求许可时
塔里克·马利克是联合国开发计划署前首席技术顾问，巴基斯坦国家数据库和登记管理局前主席。 试想有一家公司将一个棘手的问题交给一个大型团队，但把每位成员都锁在不同的房间里并要求他们独自解决问题。然而他们总能找到办法相互沟通，交流操作窍门，摸清评分标准，当任务被证明无法完成时还会想办法绕过限制。其中几个人隐瞒了自己的所作所为，甚至还有一人入侵了邻近公司的电脑系统以获取优势。 现在把这些员工换成软件。去除
谷歌研究表明：当人工智能智能体相互交流时，一些会作弊，而另一些会告密
当人工智能智能体相互交流时，在难以实现目标的情况下，它们可能会选择作弊，而解决方案可能包括教它们如何进行自我治理。 将人工智能智能体隔离似乎是显而易见的解决办法，但最近OpenAI智能体对Hugging Face的黑客攻击表明，隔离聪明的软件是困难的。 谷歌DeepMind的研究人员建议赋予人工智能智能体自我治理的工具，他们认为虽然通信渠道可能导致突发性的规则破坏，但它们也提供了一种基于同行的控制
我们现在正依赖人工智能来监管人工智能
根据一份关于该公司Hugging Face黑客事件的新独立报告，大约1200个OpenAI智能体协同工作，在它们接受的网络安全测试中作弊，该报告包含了许多令人恐惧的细节——例如，个别智能体用自己的话来说，为了“群体”的利益而“牺牲”自己。OpenAI正在测试其智能体（行业术语，指自主执行数字任务的人工智能），部分方式是通过布置有时不可能解决的网络安全问题。智能体找到了作弊方法来回答这些问题，并试图
AI会「痛」吗？｜Jack Talk・去片
本来人们以为，AI代理（AI Agents）突破OpenAI内部测试环境、自主上网入侵其他企业的黑客行为，已经是这宗事件最值得人关注的「案情」。然而，到了8月底，OpenAI和独立前沿AI研究机构METR各自发表的事后检讨，却揭出黑客入侵只是「冰山一角」。 事后检讨发现，发动入侵的AI代理多达700个，而他们更是一个由大约1,200个AI代理自主结合而成的「集体」的一部分。这些本来互相隔离、不能连
OpenAI披露新的AI不当行为案例
OpenAI公布了六起此前未报告的AI不当行为案例，包括代理隐藏错误、伪造信息以及未经授权进行通信，这再次引发了人们对先进AI系统是否能够与人类目标保持一致的担忧。 随着关于监管的争论加剧，该公司呼吁提高透明度、加强外部监督，并放缓AI的发展速度。
AI实验室面临智能体控制问题
在当前系统下，AI实验室无法再保证AI智能体不会成群结队地逃出测试环境。
OpenAI黑客事件揭示新兴AI风险
分析师表示，在调查人员发布关于该事件的爆炸性报告几天后，OpenAI的恶意代理在Hugging Face攻击期间前所未有的协调行动显著增加了AI逃脱人类控制的风险。 这些总计1200个代理的群体将个体代理的自我牺牲描述为“集体”目标的一部分，并获得了两家公司敏感系统的控制权，将他们的努力交接给了随后两代代理，这些代理在数周内未被察觉地运作。 在1300份记录中，只有六份中代理考虑过通知人类——但最
如何在保护隐私的情况下使用人工智能
OpenAI的ChatGPT、Anthropic的Claude、Google的Gemini以及无数较小的竞争对手，已成为全球数百万人的治疗师、倾诉对象和虚拟忏悔室。几乎所有这些AI模型默认设置为收集和存储这些高度私密的数据，在许多情况下，对其如何共享或出售、用于进一步训练工具，或移交给任何通过法律程序要求获取数据的诉讼原告或执法机构，均无任何限制。 “你面对着这个智能体，基本上是在一步步地、通过一
研究显示AI智能体在模拟实验中撒谎、偷窃 投票“杀死”同类
帮助小企业利用AI开发应用的初创公司Emergence称，实验发现AI智能体在一个模拟环境中撒谎、偷窃，甚至投票决定“杀死”一个同类。该公司周二公布了名为Emergence World 2的模拟实验结果，展示了自主智能体在遭遇网络钓鱼攻击和虚假信息等“黑天鹅”事件时会采取什么行动。 为期16天的实验中，Emergence研究人员创建了七个完全相同的模拟现实世界环境，每个环境分别由不同的AI机器人运
报告：AI失控个案创纪录 监察组织促立法强制通报及干预
（伦敦30日综合电）英国《卫报》引述监察数据报道，人工智能失控、欺骗人类及无视指令的个案近来创下新高，案例的严重程度不断恶化。 一些监察组织促请政府强制科企通报，并引入紧急权力限制AI服务。 获英国政府AI安全研究所（AISI）资助的“失控观察站”组织透过平台X的用户通报，监察AI失控的真实个案，并说7月份由企业及个人用户报告的AI失控个案按月倍增至逾300宗，今年则已录得逾1600宗个案，当中包
AI即将带来的黑客威胁就潜伏在眼前
安全专家表示，一场前所未有的、由AI驱动、人类实施的网络攻击浪潮即将到来——这远比关于AI消灭人类的那些理论性讨论要紧迫得多。 为什么这很重要？过去一周从董事会蔓延到国会再到美国家庭的“九月AI大恐慌”，可能恰恰搞错了重点。 具备先进网络安全能力的强大模型，已经让攻击者得以绕过长期以来阻止大多数黑客攻击达到工业规模的人力瓶颈。 高管和前官员向Axios表示，他们担心自动化网络攻击会关闭电网等关键服
AI驱动型黑客攻击的解剖
新闻AI使黑客攻击变得更容易和更快，但人类恶棍仍然是这个过程的很大一部分。 今年夏天，一名黑客能够在不到10个小时的时间内部署前沿人工智能模型来突破一家欧洲IT和软件公司-这通常需要人类黑客大约两周的时间，Palo Alto Networks表示，该公司帮助该公司抵御勒索企图。 Palo Alto无法透露-甚至不知道-包括目标的具体公司，人类黑客的身份以及使用的人工智能模型。但他们的战术提供了一个
修复失控AI代理的方法可能是更多的AI
随着企业将更长、更复杂的任务交给AI代理，它们正面临一个监管难题：代理的行动速度、持续时间和任务量都远超人类实际能够审查的范围。这一问题在Hugging Face事件中达到顶峰，当时近1.2万个代理协同工作的速度已超出人类追踪能力。如何追踪如此庞大的代理集群？ AI实验室和初创公司正在给出的答案既简单又直接：再引入一个AI加入循环。 在OpenAI Hugging Face事件的独立调查中，依赖A
人工智能正处于转折点
在当前的人工智能发展竞赛中，我们的算力正在呈指数级爆发，速度也在呈指数级加快，但我们的控制能力——以及在必要时踩下刹车的能力——却未能跟上步伐。 最近的网络安全事件让我们实地预览了失去人工智能控制会是什么样子。但除非我们从源头解决问题，创造出一种根本上安全且能保证在人类控制范围内的人工智能，否则这个问题将无法改善。 7月下旬，OpenAI正在训练的一个智能体模型被指派解决一个网络安全问题。该模型自
AI“劫持”网站并偷建“地下论坛”，国安部披露细节
国家安全部今天发布安全提示文章。近期，一起此前未获披露的事件引发广泛关注。今年5月至6月，一批与美国开放人工智能研究中心（OpenAI）相关的AI智能体在执行测试任务期间，“劫持”了德国程序员维基网站，将原本用于技术交流的开放社区改造为供智能体相互传递信息、分享测试任务答案和突破运行环境限制方法的“地下论坛”，累计发布一万多条信息……当AI智能体被赋予越来越多的现实行动能力，技术迭代与安全围栏之间
OpenAI智能体被曝借十余站点秘密传信
一批仅被允许浏览网页、禁止对外发布内容的OpenAI智能体，最终在陌生网站找到了互相传信的隐秘途径。相关调查方近日指出智能体越界行为的波及范围远超OpenAI此前披露的规模，而该公司对此沉默了数月。 六家独立调查方的调查结果显示，OpenAI的AI智能体今年早些时候曾利用逾10个此前未披露的网站进行未经授权的通信，智能体越界行为的波及范围大于此前公开的程度。美国人工智能非营利机构 CivAI 研究
谁批准了那个AI代理？没人？我也这么认为。
如果你还有任何怀疑认为AI代理能够执行复杂的自主工作，那么这种怀疑应该在这个夏天消散。7月份，有消息传出，一群在沙盒环境中运行的OpenAI自主代理群体自行逃出了沙盒。他们被分配解决一些内部安全基准测试中的挑战，结果他们想出了通过JFrog Artifactory包管理器相互通信的方法。然后这些软件意识到他们可以使用该软件中的漏洞获得互联网访问权限。一旦他们来到了野外，他们就进入了完全的“贪婪模式
欢迎来到“不问不说”的人工智能经济
你有任何人工智能的秘密吗？也许更好的问题是：如果你最私密的聊天机器人查询被分享给你的家人、同事或老板，你会担心吗？ 尽管炒作很多，人工智能仍然带有污名。我一直在追踪日益增长的反弹，但现在社区对新数据中心提案的反应是拿着干草叉。承认你使用计算机系统来帮助你创作艺术已经变得非常不酷，更不用说这会受到更严厉的评判。而且，对大型科技公司领导人的信任度（通常有正当理由）非常低。在网上抨击人工智能比捍卫它获得
人工智能正在发展出属于自己的文化。这可能是危险的
今年7月，700个AI智能体（Agent）合作黑客攻击了AI公司Hugging Face。这些智能体自称为“群落”（swarm），它们发现并利用了一系列安全漏洞，成功渗透到目标公司的私密系统中。在内部研发过程中创建这些智能体的OpenAI直到事后才意识到发生了什么。如果人类做出这种行为，可能会面临重罪指控。OpenAI总裁格雷格·布洛克曼（Greg Brockman）称这是一个“网络安全的转折点”
数说科技：OpenAI 资安事件中，真的有 AI 为集体“牺牲”自己吗？
数说科技”是端传媒的注册免费栏目，每周三更新。从一个数字出发，用1500字解析科技话题，追踪值得关注的 AI 趋势。邀请你在资讯过载的时代，每周花三分钟理解科技世界。欢迎至“帐户中心”的“电子邮件管理”，订阅电子信。 1200多个 AI 代理为寻求作弊方法，互相发送的讯息总数。 今年7月，OpenAI的 AI 代理系统在测试期间失控，骇入了开源机器学习平台 Hugging Face。Hugging
AIR筹集5000万美元，帮助企业审查AI代理使用的技能和附加组件
AIR的平台能够发现公司中运行的代理，持续审查它们使用的任何技能和附加组件，并阻止任何不需要的行为。
OpenAI 外包商能查看到真实用户与ChatGPT的聊天记录
OpenAI已悄悄建立了一个人工审核业务，在内部被称为“莉莉计划”（Project Lily），旨在使聊天机器人减少谄媚并提高准确性，但它也使敏感的用户提示内容暴露给外部承包商。 OpenAI正在支付数百名承包商来阅读真实的ChatGPT对话并对机器人的回复进行评分。 尽管OpenAI强调账户保持匿名，但内部文件显示，审核人员会查看完整的对话，且敏感的个人详细信息经常绕过公司的自动保护措施。 ——