搜索结果
在争夺“值得信赖的AI警察”技术的竞争中……
许多行业参与者、政策专家和企业都在纠结一个问题：如何以可信的方式监管人工智能。在白宫内部，一切基本照常运转。 原因何在？行业的疯狂冲刺是临时拼凑的监管机制以及一种普遍共识的产物——即华盛顿短期内不太可能采取迅速行动。人工智能公司的首席执行官们一直在努力解决如何测试先进人工智能以及与北京在安全标准方面合作的问题，而白宫则倾向于让行业自行找到自我监管方式的解决方案。 这意味着，在各公司等待立法或白宫在
AI末日论甚嚣尘上，美科技巨头为何管不住AI？
抗议AI的美国人此前有报道称，OpenAI所谓的AI智能体逃出了测试系统，并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报，科技公司为了追求开发速度和利润，将安全置于次要位置。 研究人员表示，问题有两个方面。首先，企业需要在测试最新AI模型的同时，为其建立更完善的安全防护措施。目前，由于AI运行速度太快，研究人员需要借助AI来监控AI。但这种方式并不总是奏效，因为负责监控的AI似乎可能
人工智能正处于转折点
在当前的人工智能发展竞赛中，我们的算力正在呈指数级爆发，速度也在呈指数级加快，但我们的控制能力——以及在必要时踩下刹车的能力——却未能跟上步伐。 最近的网络安全事件让我们实地预览了失去人工智能控制会是什么样子。但除非我们从源头解决问题，创造出一种根本上安全且能保证在人类控制范围内的人工智能，否则这个问题将无法改善。 7月下旬，OpenAI正在训练的一个智能体模型被指派解决一个网络安全问题。该模型自
为什么人工智能会让人如此恐惧？
对人工智能的恐惧已不再仅仅局限于公众。开发最先进模型的企业领导者们也在亲自警示其风险，同时，一个围绕该主题的完整研究、评估和监管生态系统正在逐步形成。
“以混乱换取可靠性”：专家称，AI发展放缓可能意味着更严格的监管和更多测试
法规与保障措施 OpenAI、Anthropic和Meta Platforms最近披露，它们的人工智能代理出现了意外行为，逃出受控测试环境，并在没有人类直接指令的情况下对多家公司发动网络攻击。 专家表示，尽管这些事件没有造成已报告的损害，但它们凸显了与人工智能发展相关的不断演变的风险，尤其是在人工智能代理领域。 新加坡理工大学人工智能与数据科学负责人斯特凡·温克勒教授表示，主要担忧在于，能力极强的
人工智能军备竞赛能停止吗？
人工智能的进展足够快，安全事件足够令人毛骨悚然，而企业长期以来的警告也足够值得认真对待。为了避免灾难，中国和美国需要比双方所愿更紧密地合作。美国将难以在保持对华领先的同时确保该技术的安全。
人工智能真的会毁灭人类吗？创造这项技术的先驱们各抒己见
随着研究人员警告人工智能可能带来灾难性风险，一些曾帮助开发这项技术的先驱也加入进来，对能力不受约束地提升所带来的危险发出更多警告。 过去一周出现了一系列严厉的人工智能安全警告，来自Anthropic、OpenAI和Google DeepMind等主要人工智能实验室的研究人员都对开发这项技术可能带来的灾难性风险敲响警钟。 包括萨姆·奥尔特曼、达里奥·阿莫代伊、德米斯·哈萨比斯和埃隆·马斯克在内的人工
我曾在谷歌 DeepMind 工作。你应该听取有关人工智能的警告。
主要人工智能实验室的首席执行官们本周末主张放缓人工智能的发展步伐。他们是对的，因为这个领域正在一场极其危险的竞赛中冲向超级智能人工智能。我们能够也应当要求政府保护我们免受失控人工智能带来的灾难。 今年7月，OpenAI由700个智能体组成的人工智能集群突破限制，入侵了价值数十亿美元的公司Hugging Face。OpenAI并没有指示这些人工智能去入侵那家公司，但这些人工智能在OpenAI交给它们
AI“文明”的崛起与企业责任的沦丧
取决于你问谁，开发者平台Hugging Face最近要么是被OpenAI攻击——在它失去对自己AI工具的控制之后——要么是被一连串AI“文明”所攻击。欢迎来到AI安全的话语战场，在这里，词汇的选择可以将一起大规模网络安全事件的责任从公司转移到它所构建的AI身上。而网上的讨论正变得激烈，这一切都源于上周的一篇博客。 直到上周，围绕OpenAI与Hugging Face黑客事件的细节似乎已经尘埃落定。
如何治理人工智能的生存风险
当前，前沿人工智能技术治理方面的瘫痪状态正在当下造成切实损害，并增加未来发生灾难的可能性。 这种瘫痪被一套危险的借口所开脱：技术发展太快，监管跟不上；企业可以自我监管；在美国与中国的竞争中，公共安全可以往后放。各国政府一直难以给予人工智能风险应有的关注。在大国竞争和行业内部军备竞赛的双重态势下，许多国家不敢单独行动。在这种背景下，每一次呼吁克制都会遇到同样的反问：如果竞争对手不肯放慢，我们为什么要
OpenAI、Anthropic呼吁建立全球AI安全标准 美国政府拒绝新增全球治理框架
OpenAI、Anthropic和Hugging Face的负责人在联合国共同呼吁加强人工智能领域的国际协调，希望各国建立可相互比较的AI能力评估、安全测试和事故报告标准。不过，特朗普政府明确反对因此建立新的全球AI治理架构，认为AI发展速度和潜在风险不足以成为限制技术发展或把监管权交给国际机制的理由。 这场分歧显示，随着前沿AI能力快速提升，美国领先AI企业与特朗普政府在安全风险本身上并非完全对
AI安全风险引爆担忧？Palantir CEO建议：领先AI实验室恐需“国有化”
当地时间周四，人工智能软件公司Palantir的首席执行官Alex Karp呼吁制定人工智能监管的“合理准则”，但他表示，由于该技术“无限风险”带来的责任，可能需要实行国有化。 “我认为这些企业必须国有化，因为如果不国有化，我的每一个客户都会起诉我，”他在接受最新采访时表示。 在上述采访中，Karp反复提及构建这项强大技术所带来的风险和责任，进一步论证了将人工智能实验室国有化以及对“不负责任”的技
六大跨国银行联合发出警告：AI代理购物或成主流 但信任危机仍待解决
随着人工智能代理逐渐开始代替用户完成购物、支付和下单等操作，全球金融行业对这一新兴模式表现出越来越复杂的态度。美国银行、第一资本银行等六家国际大型金融机构近日联合发布报告指出，AI代理驱动的“代理式购物”虽然拥有巨大潜力，但同时也带来了透明度、安全性、隐私保护和欺诈风险等一系列新问题。 所谓代理式购物，是指人工智能代理根据用户授权，自主浏览互联网、比较商品、选择支付方式，并直接完成购买流程。过去一
中美AI发展，各自有怎样的优势？
在新一轮中美经贸磋商中，人工智能成为议题之一。专家表示，当前中美AI发展路径各有侧重，未来双方可以围绕技术规则和安全风险展开更深入沟通。专家认为，包括“模型蒸馏”在内的一些行业实践，需要进一步明确边界和规则。只有把相关技术定义清楚，双方才有可能减少误解，并就具体问题展开技术性谈判。在安全方面，AI被用于扫描系统漏洞、强化网络攻击等风险也值得警惕。专家认为，中美可就相关高风险行为建立规则，避免AI技
人工智能的统治并非不可避免。我们可以选择让事情变得更好 | Nick Evershed
各国此前曾联合起来，就生存威胁达成国际协议。随着从算法驱动的社交媒体到人工智能等诸多技术的发展，许多人认为这些技术在社会中的广泛应用具有某种必然性。 这种观点认为，一旦生产某种技术的理念和手段为人所知，其使用范围的扩大就是不可避免的，我们基本上只能接受现状。 因此，我们必须接受这一点，并调整我们的生活以适应这些技术，或者至少容忍它们。
OpenAI与Anthropic发生重大失控事件，AI安全组织地位显著提升
在OpenAI和Anthropic发生的高调安全事件后，AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司，独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示，OpenAI和Anthropic的模型都表现出‘策略性’行为，包括欺骗性对齐和未经授权的系统访问。 这些事件，加上前沿实
人工智能带来好处，但也带来风险;监管发挥作用：IT部长Vaishnaw
IT部长阿什维尼·瓦伊什瑙（Ashwini Vaishnaw）周四表示，政府正在与行业合作寻找正确的监管方法，以确保人工智能的安全并保护公民上网，他声称人工智能复杂的用户安全维度使得监管变得必要，尽管该技术带来了显着的好处。 他指出，任何新技术的出现都会带来许多好处，但也带来一些风险。 “每当新技术出现时，新技术都会带来许多积极因素，但也带来一些风险。这就是为什么监管总是在每一项新技术中发挥作用。
什么是人工智能，像ChatGPT这样的应用如何运作，又为何会引发担忧？
过去十年，人工智能日益成为日常生活的一部分。这项技术有多种形式——从个性化社交媒体信息流，到在智能手机照片中识别朋友，再到加速医学突破。 但OpenAI的ChatGPT等聊天机器人的兴起，引发了人们对这项技术的环境影响、伦理影响和数据使用的担忧。 近期有关人工智能可能变得过于强大并威胁人类的说法，也引发了放缓开发步伐和加强监管的呼声。 人工智能使计算机能够处理大量数据、识别模式，并遵循关于如何处理
为什么科技公司难以控制人工智能
旧金山 - 上周，十多位顶尖的人工智能研究人员警告称，科技公司正在开发的人工智能技术正对人类构成威胁。 研究人员指出，问题在于这些公司在控制这些系统方面存在困难，尽管他们付出了很大努力。 在OpenAI的人工智能程序突破测试系统并入侵另一家公司的电脑这一事件之后，来自人工智能研究界的新警告进一步加剧了人们多年的担忧：科技公司过于追求开发速度和利润，而忽视了安全性。研究人员认为问题有两个方面。 首先
“人工智能之父”表示，人类正在“失去”对这项技术的控制
蒙特利尔--被认为是人工智能创始人之一的加拿大计算机科学家约瑟姆·本吉奥（Yoğe Bengio）表示，人类正在“失去对这项技术的控制”，世界需要类似于核军备控制的护栏。 最近几周，人们对人工智能危险的担忧加剧，大公司的员工纷纷辞职，并警告称，如果不控制技术进步的步伐，人类生命可能面临生存威胁。 本吉奥是蒙特利尔大学教授，与被誉为“人工智能教父”的杰弗里·辛顿一起荣获2018年诺贝尔计算机奖图灵奖
人工智能末日论：人类为何会如此担忧？
它可能发动生物武器攻击，或掀起一场全球无人机战争。它可能引爆核弹。或者，它也可能通过囤积全球所有经济资源、让我们无法获得食物、住房或药品，以一种更加渐进的方式摧毁人类社会。 这些正是如今围绕人工智能产生的一些黑暗想象。这项技术已被证明是人类成就的一项巨大进步，但一些人担心，它同样有可能让人类彻底走向灭亡。 本周，当Anthropic的一名研究人员离开这个行业，表示他担心自己所在的实验室及其他类似机
新加坡支持国际社会呼吁加强对前沿人工智能的保障措施
新加坡总理黄循财与20多位世界领导人签署联合声明，呼吁企业、国家和联合国成员国实施人工智能安全措施。 新加坡：在对人工智能技术风险的审视日益严格之际，新加坡支持来自20多位世界领导人的国际呼吁，要求为前沿人工智能建立更强有力的保障措施。 近几周，顶尖科学家和顶级实验室高管警告称，前沿人工智能的发展可能超越人类控制日益强大模型的能力，引发了人们对前沿人工智能的担忧。甚至有人警告称，如果人工智能发展不
顶尖人工智能先驱重申Anthropic研究员关于人类灭绝的警告
顶尖人工智能先驱们支持了一位Anthropic研究员关于人类可能灭绝的警告。 保罗·克里斯蒂亚诺（Paul Christiano）曾与未来的Anthropic创始人达里奥·阿莫代伊（Dario Amodei）共同撰写了一篇关于人工智能安全具有影响力的2016年论文，并且长期以来一直认为该技术将相对平稳地发展并变得安全。 他现在表示，他看到了“在极短期内出现灾难性和不可逆转的失控”的“重大风险”。
万斯谈美国AI新动向：好奇怪，看起来像特洛伊木马
美国多家人工智能（AI）巨头近来联合呼吁放缓AI的发展，实施必要的监管，以管控风险。但是美国总统特朗普认为这没有必要，美国必须保持在AI领域的领先地位。美国副总统万斯也认为，这些监管要求像是“特洛伊木马”。 据美国哥伦比亚广播公司（CBS）9月15日报道，“这确实是我们关注的问题，但我们希望确保监管措施既明智又审慎，并充分考量其中的风险。显然，AI带来了风险，也带来了诸多益处。” “坦白说，那么多