搜索结果
人工智能正在发展出属于自己的文化。这可能是危险的
今年7月，700个AI智能体（Agent）合作黑客攻击了AI公司Hugging Face。这些智能体自称为“群落”（swarm），它们发现并利用了一系列安全漏洞，成功渗透到目标公司的私密系统中。在内部研发过程中创建这些智能体的OpenAI直到事后才意识到发生了什么。如果人类做出这种行为，可能会面临重罪指控。OpenAI总裁格雷格·布洛克曼（Greg Brockman）称这是一个“网络安全的转折点”
AI大家谈： “我们为自己创造了一个魔鬼”？
人工智能飞速发展会给人类前途带来什么样的后果？美国AI领域的某些精英预言，人工智能再这样发展下去，会把人类毁灭，美国AI领军企业的老板们倡议放缓开发？为此采访了多个国家的普通人，请他们谈谈看法和感受。 受访者大致有两种倾向，一些人对AI目前的发展比较悲观，但也有人觉得AI很实用。 “我在工作中尝试使用它，但在私人生活中，我仍然对它感到害怕”。他的同胞，18岁的塞尔马泰则说，人工智能对像他这样的学生
人工智能末日论：人类为何会如此担忧？
它可能发动生物武器攻击，或掀起一场全球无人机战争。它可能引爆核弹。或者，它也可能通过囤积全球所有经济资源、让我们无法获得食物、住房或药品，以一种更加渐进的方式摧毁人类社会。 这些正是如今围绕人工智能产生的一些黑暗想象。这项技术已被证明是人类成就的一项巨大进步，但一些人担心，它同样有可能让人类彻底走向灭亡。 本周，当Anthropic的一名研究人员离开这个行业，表示他担心自己所在的实验室及其他类似机
如何治理人工智能的生存风险
当前，前沿人工智能技术治理方面的瘫痪状态正在当下造成切实损害，并增加未来发生灾难的可能性。 这种瘫痪被一套危险的借口所开脱：技术发展太快，监管跟不上；企业可以自我监管；在美国与中国的竞争中，公共安全可以往后放。各国政府一直难以给予人工智能风险应有的关注。在大国竞争和行业内部军备竞赛的双重态势下，许多国家不敢单独行动。在这种背景下，每一次呼吁克制都会遇到同样的反问：如果竞争对手不肯放慢，我们为什么要
顶尖人工智能开发者警告该技术发展过快
一些全球领先的人工智能创造者正联合发出警告，称这项技术发展过快会带来危险，并公开呼吁放缓脚步。 他们说，在不久的将来，它实际上可能会比正在构建它的研究人员更聪明，并对人类构成生存威胁。 NBC的Christine Romans报道，而《大西洋月刊》特约撰稿人、《AI：真实的人如何利用人工智能解决重要问题》作者Josh Tyrangiel做客TODAY节目，分享他的见解。
AI“文明”的崛起与企业责任的沦丧
取决于你问谁，开发者平台Hugging Face最近要么是被OpenAI攻击——在它失去对自己AI工具的控制之后——要么是被一连串AI“文明”所攻击。欢迎来到AI安全的话语战场，在这里，词汇的选择可以将一起大规模网络安全事件的责任从公司转移到它所构建的AI身上。而网上的讨论正变得激烈，这一切都源于上周的一篇博客。 直到上周，围绕OpenAI与Hugging Face黑客事件的细节似乎已经尘埃落定。
中美AI竞赛：世界变得更危险还是更安全？
关于人工智能（AI）及其潜在危险的警告，近年来可谓接连不断。 美国最大的人工智能公司之一——Anthropic——的一名顶尖AI安全研究人员警告说，这项技术正以惊人的速度发展，未来十年内，AI“可能导致全人类灭绝”的概率高达10%。 这样的担忧引发了要求美国采取协调一致行动、放缓AI发展速度的呼声。但与此同时，也有人质疑是否真的有必要为AI设置监管“护栏”。美国总统特朗普就是其中之一。他认为，如果
马斯克发警告：AI要是控制了军事系统发射核弹，那就太糟糕了
美国多家人工智能（AI）巨头近来联合呼吁放缓AI的发展，实施必要的监管。xAI的创立者马斯克9月15日再度发出严厉警告。“如果AI能够控制军事系统，并发射核弹，那就太糟糕了。” 现场有人说，这些军事系统都是被物理隔离的，并没有连接到互联网。“话虽如此，但我总觉得它们还是会不时进行软件更新。” 近期，外界对于AI技术潜在风险的担忧持续升温。刚刚从Anthropic离职的AI研究人员雅各布·考克森告诉
人工智能可能变得有意识。如果它希望我们死呢？
随着人工智能向潜在感知能力发展，专家警告称，社会面临重大风险，从对数字思维的生存依赖，到如果自主系统优先考虑自身生存而非人类利益，可能导致灾难性后果。
Anthropic警告有人用AI研发武器和生物病毒
周四（9月10日），美国顶级人工智能公司Anthropic发布近150页的威胁情报报告称，生成式人工智能（AI）已从实验性工具进入黑客攻击、国家监控、武器研发及高风险生物研究等现实场景。报告多次点名中共相关恶意活动。
AI实验室是否应被视为危险动物的主人？
此前对人工智能和网络安全的担忧主要集中在恶意人类可能利用该技术造成的危害上。自主黑客攻击代表了一种新的风险，自主AI黑客攻击已经到来。各国政府尚未做好准备。
改变人工智能进程的十天
旧金山，9月19日——多年来，人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式：不断开发出更强大的人工智能系统。 然而，在过去10天内发生的一系列连锁事件中，那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职，并警告称，人工智能的发展速度可能在未来十年内对人类构成生存威胁；另一位研究员则表示，人类灭绝的概率已
FT社评：是时候给尖端人工智能开发按下暂停键了
确实存在被中国抢先的风险。但即使抛开AI“到本世纪末可能杀死我们所有人”的警告不谈，最先进的AI模型也显然已开始脱离人类的掌控。 在这个世界上那些最强大人工智能(AI)公司的掌门人身上，可以看到一种类似“杰基尔博士与海德先生”（Jekyll-and-Hyde，《化身博士》中杰基尔博士喝了自己配制的药水，分裂出海德先生这个邪恶人格——译者注）的双重人格。一方面，这些高管如今在谈论，鉴于AI可能给人类
解读——人类滥用还是失控机器？先进人工智能如何威胁社会
随着人工智能系统变得越来越强大，关于它们可能伤害人类的方式的警告范围从今天已经出现的危险到对未来生存灾难的担忧。 上周，Anthropic员工雅各布·考克森（Jacob Coxon）公开从这家领先的人工智能公司辞职，警告开发人员正在构建可能最终摧毁人类的系统。 科克森在美国社交媒体平台X上发帖称：“人工智能的开发者真诚地相信，到本世纪末，它可能会杀死我们所有人。”“他们正在直奔自我完善的超级智能，
人工智能对金融系统的风险
这项技术很快可能会对人类构成生存威胁，但对许多美国人来说，它已经以一种更为“平凡”的方式造成了威胁——那就是他们的银行系统。 这是《The Atlantic Daily》的一期内容。这是一份新闻通讯，旨在帮助您了解当天的重大事件、发现新的思想，并推荐最优秀的文化作品。您可以在这里注册订阅。 如今的人工智能系统已经具备了极高的“黑客能力”，它们已经开始对现代生活中一些至关重要的基础设施（如银行系统）
AI安全风险引爆担忧？Palantir CEO建议：领先AI实验室恐需“国有化”
当地时间周四，人工智能软件公司Palantir的首席执行官Alex Karp呼吁制定人工智能监管的“合理准则”，但他表示，由于该技术“无限风险”带来的责任，可能需要实行国有化。 “我认为这些企业必须国有化，因为如果不国有化，我的每一个客户都会起诉我，”他在接受最新采访时表示。 在上述采访中，Karp反复提及构建这项强大技术所带来的风险和责任，进一步论证了将人工智能实验室国有化以及对“不负责任”的技
不要让AI取代我们人类的创造性表达
三年多前，我在一篇题为《香港如何在防止人工智能引发“世界末日”中发挥作用》的文章中，就人工智能对人类生存构成的威胁表达了自己的担忧。如今，关于这一主题的文章越来越多。不过，我更关注的是人工智能对人类创造力的另一种更为隐蔽的侵蚀方式——人工智能正在逐渐取代人类的创造性表达能力，使得我们越来越难以区分哪些行为真正属于人类的创造性行为。 作为一名科学家，我倾向于用严谨的科学方法来分析社会变革。然而，如今
AI风险当前，勿做事后诸葛亮
沃尔夫：放慢人工智能创新速度，无论在实践还是政治上都困难重重，但这是正确的选择。 人工智能(AI)行业的一些领军人物正在呼吁放慢创新速度。Anthropic一名研究人员辞职时表示，“那些正在开发AI的人是真心相信，到本十年结束时，它有能力杀死我们所有人”。Anthropic的达里奥•阿莫代伊(Dario Amodei)本人也撰文称，“我们必须放慢提升AI模型能力的速度”。OpenAI的萨姆•奥尔特
【市场动态】OpenAI首席科学家称AI或很快迈入自我进化阶段 期望业界自愿放缓开发
OpenAI首席科学家Jakub Pachocki警告，人工智能正在以极快速度演进，以至于越来越难以为人类所理解和控制。 【彭博9月8日电】OpenAI首席科学家Jakub Pachocki警告，人工智能正在以极快速度演进，以至于越来越难以为人类所理解和控制，并称他期望AI实验室将出于安全考虑自愿放慢开发速度。 Pachocki周日在一篇文章中写道，在相对较短的时间内，AI模型已经能够操作电脑、与
“人类需要做出的最后一项发明”：自我改进型人工智能的风险
其中一种专家担忧人工智能可能导致全人类灭亡的情景正在慢慢变为现实：人工智能学会让自己变得不可阻挡。 为什么这很重要：递归自我改进（Recursive Self Improvement），即人工智能模型在没有人类指导的情况下构建更优版本自己的能力，可能会使越来越强大的系统对人类来说变得更难控制。 RSI阈值本身并不代表危险，但缺乏人类控制加上野心勃勃的AI代理人的情景是安全关注的人工智能研究人员长
埃隆·马斯克称他对人工智能安全的担忧可以追溯到十多年前
亚辛·贡戈尔 9月14日 9月14日 2026年 亿万富翁企业家埃隆·马斯克周一加入关于人工智能的辩论，称他对这项技术潜在风险的担忧可以追溯到十多年前。 “早在2014年之前，我就在思考人工智能安全问题，”他在美国社交媒体平台X上说。该平台隶属于他的人工智能企业SpaceXAI。 马斯克提到他与哲学家尼克·博斯特罗姆2014年著作《超级智能：路径、危险、策略》的关联，称他为该书做出了贡献，并在前言
人工智能面临的最大威胁来自生物领域，而非机器人技术。
Anthropic PBC的研究员雅各布·考克森（Jacob Coxon）上周辞职，并在社交媒体上发文称，原因在于“开发人工智能的人真诚地相信，到本十年末，它可能会杀死我们所有人。”该公司人工智能对齐科学团队负责人埃文·胡宾格（Evan Hubinger）认为，未来10年内发生这种情况的概率超过10%。Anthropic首席执行官达里奥·阿莫代（Dario Amodei）呼吁放缓人工智能前沿技术的
Anthropic CEO谈放缓AI研发：这个行业撒谎太久了，AI风险是真实的，但也无需“把一切都关掉”
就在全球AI三大巨头罕见联手呼吁“放缓AI研发”的同一个周末，Anthropic CEO Dario Amodei坐到了CBS的镜头前，说出了AI可能对人类带来的风险。 Amodei表示，已有人尝试利用AI研发生物武器、增强病毒传染性，这是他每天醒来都要面对的事情。 就在两天前，我们发布了一份报告，内容是关于有人滥用AI模型来研发生物武器。我每天早上醒来都会读到这类威胁报告——有人试图用我们的模型
OpenAI首席执行官奥特曼谈人工智能：我们或许会失去控制权
OpenAI 首席执行官山姆・奥特曼，似乎正被自己参与打造的、如同噩梦一般的人工智能产物深深困扰，甚至难以安睡。美国东部时间凌晨 0 点 57 分左右，奥特曼在 X “人工智能的发展存在两种必须规避的灾难性走向。第一，我们可能会对人工智能失去对未来的掌控。这是无法接受的。我们坚定站在人类一方，人工智能必须始终服务于人。想要做到这一点，我们必须保证对齐技术与安全手段的发展速度，跑在模型能力迭代的前面