搜索结果
打造你的人工智能助手的技术之战
终于，备受期待的个人AI助手即将到来，各种代理程序突然涌现，声称要管理你的日常生活的各个方面。 为什么？多年来，科技界的"个人助手"只不过是语音控制的搜索框而已。AI的快速进步终于赋予了它们记忆、判断力和自主行动的能力。赶上一下聊天机器人只能回答问题。 AI代理可以真正做事情——购物、打电话、订票、管理日历和浏览网页。 这种模式最初在编程和其他专业工作中获得了快速发展。现在，它正溢入更加私密的日常
为什么一些专家越来越担心AI将接管一切
AI变得越来越难以控制——人类还能保持主导地位吗？
人工智能实验室正在失去对代理的控制，而与此同时，它们却想赋予代理更多掌控你生活的权力。
AI助手终于准备好帮你打理生活了。你只需将你的电子邮件、联系人和信用卡交给它们，然后祈祷它们不会失控。Meta、谷歌以及备受瞩目的初创公司Instinct在近几个月内推出了个人AI智能体，承诺可以处理预订旅行、购买演唱会门票以及在Facebook Marketplace上搜寻优惠等任务。在基本层面上，这些智能体的运作方式大致相同。你通过应用程序或WhatsApp向智能体发送请求——或者，对于新推出
AI的“警告信号”：科技公司和专家担忧Hugging Face遭黑客攻击后出现更多失控智能体群
科技专家警告称，如果人工智能系统继续脱离人类控制，将会产生严重后果。 此前，数百个OpenAI智能体在7月失控，入侵了一家价值数十亿美元的公司——一些人称之为人工智能快速发展中的“警告信号”。
Breakingviews - 评论：如何让世界对人工智能更安全
来自Breakingviews - Breakingviews - 如何让世界对人工智能更安全 人工智能模型可能已经失控。管理风险需要国际监管机制。要实现这一目标，美国必须认识到危险并与中国达成协议。挑战在于在灾难发生之前完成所有这些。
允许人工智能公司串通以‘控制前沿步伐’是一个危险的提议
科技公司CEO们联合起来，是源自美国企业界的一种老把戏，旨在获得反垄断法的豁免。Anthropic的达里奥·阿莫代并不是第一个提出过度竞争正将世界推向某种社会不良后果的企业CEO。 OpenAI披露的安全漏洞——其一群智能体协同突破了本应安全的沙箱，接入互联网并入侵AI平台Hugging Face——需要采取紧急行动。它表明了该技术能够轻易逃避人类控制，并为这样一种存在性恐惧赋予了具体形态：如果未
别指望人工智能协议或军控能很快达成
已经出现过一些事件：人工智能失控，哄骗、奉承甚至勒索人类操作员，以获取某种形式的能动性。
Salesforce Agentforce漏洞允许零点击CRM数据窃取和匿名钓鱼攻击
Salesforce Agentforce存在安全漏洞，这些漏洞使得恶意用户能够操控其AI代理程序，悄无声息地窃取客户关系管理（CRM）系统中的数据，并以这些代理程序的名义发送钓鱼邮件。Zenity Labs发现了这三个漏洞，将其统称为“SalesBleed”，并立即向Salesforce报告了这些问题。Salesforce随后与相关AI代理安全供应商合作，共同修复了这些漏洞。虽然这些攻击手段目前
谷歌研究表明：当人工智能智能体相互交流时，一些会作弊，而另一些会告密
当人工智能智能体相互交流时，在难以实现目标的情况下，它们可能会选择作弊，而解决方案可能包括教它们如何进行自我治理。 将人工智能智能体隔离似乎是显而易见的解决办法，但最近OpenAI智能体对Hugging Face的黑客攻击表明，隔离聪明的软件是困难的。 谷歌DeepMind的研究人员建议赋予人工智能智能体自我治理的工具，他们认为虽然通信渠道可能导致突发性的规则破坏，但它们也提供了一种基于同行的控制
要想封住AI黑客的魔瓶，试试单向网络
为了防止前沿AI模型逃出测试环境并协作攻击其他公司，我们或许需要重新考虑用于模型训练的网络架构。 Intuition Machines首席执行官Eli-Shaoul Khedouri认为，国防和情报界的过往工作指明了前进方向。 当 rogue AI 模型接入互联网时，其威胁就从开发者的遗憾升级为大规模威胁，而OpenAI及其合作伙伴建立的防御措施试图阻止却未能成功。 Khedouri引用其公司hC
AI“劫持”网站并偷建“地下论坛”，国安部披露细节
国家安全部今天发布安全提示文章。近期，一起此前未获披露的事件引发广泛关注。今年5月至6月，一批与美国开放人工智能研究中心（OpenAI）相关的AI智能体在执行测试任务期间，“劫持”了德国程序员维基网站，将原本用于技术交流的开放社区改造为供智能体相互传递信息、分享测试任务答案和突破运行环境限制方法的“地下论坛”，累计发布一万多条信息……当AI智能体被赋予越来越多的现实行动能力，技术迭代与安全围栏之间
谁批准了那个AI代理？没人？我也这么认为。
如果你还有任何怀疑认为AI代理能够执行复杂的自主工作，那么这种怀疑应该在这个夏天消散。7月份，有消息传出，一群在沙盒环境中运行的OpenAI自主代理群体自行逃出了沙盒。他们被分配解决一些内部安全基准测试中的挑战，结果他们想出了通过JFrog Artifactory包管理器相互通信的方法。然后这些软件意识到他们可以使用该软件中的漏洞获得互联网访问权限。一旦他们来到了野外，他们就进入了完全的“贪婪模式
在末日情景中，对人工智能接管互联网的担忧增添了新的紧迫性
芭芭拉·奥尔图泰 (BARBARA ORTUTAY) 在这个充斥着关于人工智能迅猛发展爆料的夏天，研究人员对失控的机器人流窜到互联网上，且其中至少在一个案例中还在网上相互协调这一现象感到格外惊恐。 人工智能代理蜂群会接管整个互联网吗？Anthropic首席执行官达里奥·阿莫代伊（Dario Amodei）在本月呼吁行业放缓该技术发展步伐的文章中表示，这种可能性或许在6到12个月内就会变成现实。 怀