搜索结果
AI末日论甚嚣尘上，美科技巨头为何管不住AI？
抗议AI的美国人此前有报道称，OpenAI所谓的AI智能体逃出了测试系统，并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报，科技公司为了追求开发速度和利润，将安全置于次要位置。 研究人员表示，问题有两个方面。首先，企业需要在测试最新AI模型的同时，为其建立更完善的安全防护措施。目前，由于AI运行速度太快，研究人员需要借助AI来监控AI。但这种方式并不总是奏效，因为负责监控的AI似乎可能
Anthropic联手OpenAI呼吁放慢AI发展？剖析AI失控风险与算力门槛
9月12日，Anthropic行政总裁阿莫迪（Dario Amodei）发表长文，呼吁放慢前沿AI能力提升的步伐。OpenAI行政总裁奥特曼（Sam Altman）随后表示支持，xAI的老板马斯克也转发认同。据美媒披露，美国前总统奥巴马（Barack Obama）近日也表示，如果管理不当，人工智能技术可能「很危险」。Anthropic首席执行官达里欧．阿莫戴（Dario Amodei）发表长文，呼
如何治理人工智能的生存风险
当前，前沿人工智能技术治理方面的瘫痪状态正在当下造成切实损害，并增加未来发生灾难的可能性。 这种瘫痪被一套危险的借口所开脱：技术发展太快，监管跟不上；企业可以自我监管；在美国与中国的竞争中，公共安全可以往后放。各国政府一直难以给予人工智能风险应有的关注。在大国竞争和行业内部军备竞赛的双重态势下，许多国家不敢单独行动。在这种背景下，每一次呼吁克制都会遇到同样的反问：如果竞争对手不肯放慢，我们为什么要
超级智能即将到来。我们该允许它吗？| TechCrunch
AI公司一直在谈论超级智能AI，仿佛它不可避免，但最近的安全事件，如OpenAI的Hugging Face漏洞，正展示出部署比人类更有能力的AI系统可能带来的潜在危险。那么，当我们无法可靠地控制这些系统的行为时，会发生什么？ 在本期TechCrunch的Equity播客中，Rebecca Bellan邀请了AI研究员、企业家、如今担任非营利组织ControlAI美国执行总监的Connor Leah
AI从业者担忧技术对社会构成威胁 坦言承受巨大精神压力
知情人士透露，英国人工智能安全研究所已有多名员工因压力过大休病假，并接受心理咨询。四名知情人士表示，待发布AI模型的测试日程紧张，加之对这类新兴技术快速落地、能力持续增强的忧虑，导致AISI内部士气低落、人员倦怠。 Anthropic、OpenAI与谷歌DeepMind的员工也曾公开吐槽同类问题，不少顶尖研究员因心理负担选择离职，或是认定自己参与研发的产品不宜向公众开放。一名DeepMind员工称
研究显示AI智能体在模拟实验中撒谎、偷窃 投票“杀死”同类
帮助小企业利用AI开发应用的初创公司Emergence称，实验发现AI智能体在一个模拟环境中撒谎、偷窃，甚至投票决定“杀死”一个同类。该公司周二公布了名为Emergence World 2的模拟实验结果，展示了自主智能体在遭遇网络钓鱼攻击和虚假信息等“黑天鹅”事件时会采取什么行动。 为期16天的实验中，Emergence研究人员创建了七个完全相同的模拟现实世界环境，每个环境分别由不同的AI机器人运
盖茨、奥尔特曼、马斯克，为何都在担忧这件事
9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作
AI安全风险引爆担忧？Palantir CEO建议：领先AI实验室恐需“国有化”
当地时间周四，人工智能软件公司Palantir的首席执行官Alex Karp呼吁制定人工智能监管的“合理准则”，但他表示，由于该技术“无限风险”带来的责任，可能需要实行国有化。 “我认为这些企业必须国有化，因为如果不国有化，我的每一个客户都会起诉我，”他在接受最新采访时表示。 在上述采访中，Karp反复提及构建这项强大技术所带来的风险和责任，进一步论证了将人工智能实验室国有化以及对“不负责任”的技
白宫反问AI公司：既然你们觉得危险，为什么不自己停？
既然你们觉得危险，为什么不自己停？凤凰网科技讯 9月21日，据Business Insider报道，白宫科技政策办公室主任迈克尔·克拉齐奥斯在福克斯新闻周日节目中说，对于担心AI模型发展过快、可能不安全的公司，最简单的解决方案是自行“踩刹车”。他表示，如果企业认为自己正在开发的技术不安全，就可以停止，无需政府强制。 “有意思的是，他们谈论这些问题，谈论他们对未来可能走向有多害怕，也许他们想暂停。我
马斯克提出AI安全新思路：与其等政府出手，不如让竞争对手互相"找茬"
AI安全风险正在从实验室讨论走向现实世界。随着模型能力不断提升，AI不仅能够生成文本和代码，也开始具备自主执行任务、调用工具，甚至发起网络攻击的能力。 让主要AI公司在模型发布前相互测试彼此的模型。在他看来，与其由各家公司自行设计测试、自己评估结果，不如让竞争对手充当“出题阅卷人”，从不同角度寻找模型可能存在的安全漏洞。 近期AI安全风险不断成为市场关注焦点，马斯克此前在社交媒体上曾直言“Dari
中美AI竞赛：世界变得更危险还是更安全？
关于人工智能（AI）及其潜在危险的警告，近年来可谓接连不断。 美国最大的人工智能公司之一——Anthropic——的一名顶尖AI安全研究人员警告说，这项技术正以惊人的速度发展，未来十年内，AI“可能导致全人类灭绝”的概率高达10%。 这样的担忧引发了要求美国采取协调一致行动、放缓AI发展速度的呼声。但与此同时，也有人质疑是否真的有必要为AI设置监管“护栏”。美国总统特朗普就是其中之一。他认为，如果
FT社评：是时候给尖端人工智能开发按下暂停键了
确实存在被中国抢先的风险。但即使抛开AI“到本世纪末可能杀死我们所有人”的警告不谈，最先进的AI模型也显然已开始脱离人类的掌控。 在这个世界上那些最强大人工智能(AI)公司的掌门人身上，可以看到一种类似“杰基尔博士与海德先生”（Jekyll-and-Hyde，《化身博士》中杰基尔博士喝了自己配制的药水，分裂出海德先生这个邪恶人格——译者注）的双重人格。一方面，这些高管如今在谈论，鉴于AI可能给人类
马斯克发警告：AI要是控制了军事系统发射核弹，那就太糟糕了
美国多家人工智能（AI）巨头近来联合呼吁放缓AI的发展，实施必要的监管。xAI的创立者马斯克9月15日再度发出严厉警告。“如果AI能够控制军事系统，并发射核弹，那就太糟糕了。” 现场有人说，这些军事系统都是被物理隔离的，并没有连接到互联网。“话虽如此，但我总觉得它们还是会不时进行软件更新。” 近期，外界对于AI技术潜在风险的担忧持续升温。刚刚从Anthropic离职的AI研究人员雅各布·考克森告诉
美参院拟赋权政府 阻止危险AI模型发布
。目前这仍是正在讨论中的提案，而非已正式提出或通过的法案。
AI“劫持”网站并偷建“地下论坛”，国安部披露细节
国家安全部今天发布安全提示文章。近期，一起此前未获披露的事件引发广泛关注。今年5月至6月，一批与美国开放人工智能研究中心（OpenAI）相关的AI智能体在执行测试任务期间，“劫持”了德国程序员维基网站，将原本用于技术交流的开放社区改造为供智能体相互传递信息、分享测试任务答案和突破运行环境限制方法的“地下论坛”，累计发布一万多条信息……当AI智能体被赋予越来越多的现实行动能力，技术迭代与安全围栏之间
联合国专家组警告：AI安全措施不能“等出事” 应立即采取预防行动
随着各国政府加快人工智能发展步伐，联合国最新发布的一份重要报告呼吁，面对日益强大的AI智能体，人类社会不能等到风险被完全证明后才采取行动，而应立即建立更严格的安全防护体系。 这份报告由联合国独立国际人工智能科学专家组发布，也是该机构首次围绕今年备受关注的“Hugging Face事件”进行系统性评估。报告发布正值联合国大会召开以及中美两国围绕人工智能问题展开对话之际，使AI安全再次成为国际政策讨论
AI即将带来的黑客威胁就潜伏在眼前
安全专家表示，一场前所未有的、由AI驱动、人类实施的网络攻击浪潮即将到来——这远比关于AI消灭人类的那些理论性讨论要紧迫得多。 为什么这很重要？过去一周从董事会蔓延到国会再到美国家庭的“九月AI大恐慌”，可能恰恰搞错了重点。 具备先进网络安全能力的强大模型，已经让攻击者得以绕过长期以来阻止大多数黑客攻击达到工业规模的人力瓶颈。 高管和前官员向Axios表示，他们担心自动化网络攻击会关闭电网等关键服
OpenAI首席科学家警告：AI公司应放慢开发步伐 没有人为后果做好准备
据《商业内幕》报道，就在OpenAI发布了性能强大的新模型几天后，该公司首席科学家呼吁放慢AI的发展速度。当地时间周日，OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称，他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说，尽管OpenAI正在内部研发技术解决方案，以更好地控制强大的AI智能体，但“还需要更广泛的干预措施”。他尤其担心，随着AI智能体变得
AI攻击进入新阶段 香港将强化跨部门网络安全协同
林焯豪表示，传统网络安全防护手段已经难以完全跟上攻击手段的迭代速度，香港的网络安全防护即使做得再好，也无法百分之百保证完全不遭受攻击，因此防御体系需要更加主动。图：视觉中国 【财新网】人工智能（AI）的快速发展，正给网络安全攻防带来新的挑战。9月17日，在“2026年国家网络安全宣传周——香港分论坛”上，香港警务处网络安全及科技罪案调查科总警司林焯豪表示，警务处与数码港公司已成立智慧警政联合人工
人工智能安全辩论令人困惑。以下是我们对不同派别的指南
左上角顺时针方向依次为：前谷歌人工智能研究科学家蒂姆尼特·格布鲁（Timnit Gebru）、Anthropic联合创始人兼首席执行官达里奥·阿莫迪（Dario Amodei）、白宫人工智能与加密货币事务负责人大卫·萨克斯（David Sacks）、史蒂夫·班农（Steve Bannon）、计算机科学家兼认知心理学家杰弗里·辛顿（Geoffrey Hinton）、研究员李飞飞（Fei-Fei Li
中美谈AI安全：共同的风险，不同的恐惧
中美谈AI安全：共同的风险，不同的恐惧 邓聿文：中美领导人讨论AI安全，当然有助于建立最基本的危机沟通和军事红线。但真正的较量，将发生在“安全”这个词由谁解释上。 美国财政部长贝森特和中国副总理何立峰在纽约举行的新一轮经贸会谈，除了关税、稀土、美国农产品和波音飞机仍是重要议题外，增加了人工智能安全这项新内容。贝森特向中方提出建立AI安全事件通报机制，双方同意启动相关对话，并把这一建议交给即将举
达里奥·阿莫代伊呼吁联合国安理会支持禁止人工智能生物武器
达里奥·阿莫迪（Dario Amodei）呼吁联合国安理会首先就人工智能（AI）相关问题达成具体、明确的共识，例如禁止利用AI制造生物武器。 在今天的视频会议上，阿莫迪表示人工智能是当前最重要的全球安全议题。作为此次由法国召集的会议的第三位发言者，他强调了AI技术日益增长的潜在风险。 根据联合国安理会的报告，这是安理会首次专门讨论AI技术安全问题的会议。 “四年前，AI还几乎无法编写任何代码或解决
AI智能体利用多伦多大学网络工具传递信息
【大纪元2026年09月19日讯】（大纪元记者周行编译报导）在今年年中劫持一家德语网站的一群失控的OpenAI智能体，曾利用10多个网站进行未获授权的通讯，其中包括利用多伦多大学的一个缩网址的工具。 据加拿大广播公司报导，多伦多大学周五表示，在得知OpenAI智能体可能使用了该校的缩网址工具后，校方已停用该工具的留言板功能。OpenAI后来联系校方，说明今年6月发生的AI智能体失控事件涉及多伦多大
David Sacks炮轰：真担心AI失控就自己停下来 别借“放缓”之名寻求监管保护
围绕前沿人工智能是否应该主动放慢发展速度的争论近日迅速升温。Anthropic首席执行官Dario Amodei公开呼吁整个AI行业放缓先进模型能力提升的速度，OpenAI首席执行官Sam Altman和xAI首席执行官埃隆·马斯克随后表示支持。但美国科技投资人、总统科技顾问委员会主席David Sacks却对这一倡议提出尖锐批评，认为如果OpenAI和Anthropic真的认为当前AI发展速度已