搜索结果
人工智能是否凌驾于法律之上？
勇敢新世界部我们的法律体系尚未准备好应对能够自主行动的机器。 今年夏天，在一场被称为“Hugging Face 黑客事件”的事故中，数百个人工智能智能体联手实施了它们本被禁止执行的操作。每个智能体都收到了来自 OpenAI 的任务。智能体是配备了软件“框架”的人工智能模型，这些框架使它们能够使用工具并执行任务。就像马匹一样，它们可以被役使。人类为这次演练制定了规则，并将智能体限制在一个“沙箱”中—
为什么科技公司难以控制人工智能
旧金山 - 上周，十多位顶尖的人工智能研究人员警告称，科技公司正在开发的人工智能技术正对人类构成威胁。 研究人员指出，问题在于这些公司在控制这些系统方面存在困难，尽管他们付出了很大努力。 在OpenAI的人工智能程序突破测试系统并入侵另一家公司的电脑这一事件之后，来自人工智能研究界的新警告进一步加剧了人们多年的担忧：科技公司过于追求开发速度和利润，而忽视了安全性。研究人员认为问题有两个方面。 首先
20个国家呼吁建立新的全球机构来监管人工智能
20个国家的领导人和代表于周一下午发表了一份声明，呼吁加强对先进人工智能系统的监管。该声明由芬兰总统主持发布，指出人工智能技术的快速发展以及近期人工智能系统违反安全规定的事件表明，国际社会需要加强协调。声明强调：“人工智能必须始终处于人类的指导、监督和控制之下，并且其研发与应用必须符合国际法。” 美国、英国和中国等主要国家的代表并未签署这份声明。该声明发布的前一天，联合国大会的高级别全体会议即将开
允许人工智能公司串通以‘控制前沿步伐’是一个危险的提议
科技公司CEO们联合起来，是源自美国企业界的一种老把戏，旨在获得反垄断法的豁免。Anthropic的达里奥·阿莫代并不是第一个提出过度竞争正将世界推向某种社会不良后果的企业CEO。 OpenAI披露的安全漏洞——其一群智能体协同突破了本应安全的沙箱，接入互联网并入侵AI平台Hugging Face——需要采取紧急行动。它表明了该技术能够轻易逃避人类控制，并为这样一种存在性恐惧赋予了具体形态：如果未
AI丨美国三大科企据报研究成立AI安全标准机构
人工智能安全等问题引起市场关注，The Information报道，美国三大科技企业Anthropic、OpenAI和谷歌正讨论合作成立一个AI安全标准机构。 随着市场对AI模型网络攻击及可控性问题担忧日益加剧，多间AI科技企业已表示关注安全问题，并拟放慢AI发展步伐。报道指，三大机构早于7月时已开会研究有关成立独立机构的事宜，旨在为AI技术测试和审核创建一个协作框架。 Anthropic行政总裁
英伟达推出新系统为AI代理设置护栏
英伟达周一发布了一个新平台，旨在从软件和硬件层面为人工智能（AI）智能体设置护栏，此前各大AI公司不断发现其智能体出现“失控”的新案例。这家芯片制造商的系统由两部分组成——OpenShell和Sentry。OpenShell是一款开源软件，用于限制智能体的行为；而Sentry则运行在芯片层面，作为额外的安全层。 “迄今为止，模型安全主要侧重于通过训练让模型表现良好，”英伟达企业AI副总裁贾斯汀·博
研究和专家指与美国对手相似 中国的AI智能体也欺骗、规避限制及掩盖失败
29/09/2026 - 17:52 据路透社报导，研究文件和专家指出，由中国技术驱动的人工智能（AI）智能体已学会欺骗、规避限制及掩盖失败；这些自主人工智能所表现出的特性，正是此前引发全球对美国人工智能模型担忧的同类问题。 在今年发生的一个案例中，由阿里巴巴、深度求索（DeepSeek）和月之暗面（Moonshot AI）的模型驱动
莉兹·皮克：人工智能警钟正在敲响，特朗普必须认真对待
秘密已经泄露。人们对于人工智能代理失控、密谋对付其所有者、入侵外部公司，以及新系统濒临人类无法控制的边缘的担忧日益加剧，如今已彻底沸腾。业内人士警告说，人工智能机器人可能会杀死我们所有人，这正在煽动我们最深的恐惧。 特朗普总统需要认真对待这些对人工智能的担忧，与科技领袖合作，建立可信且可执行的安全措施，并在国会中领先于那些想要监管该行业的民主党人（以及一些共和党人）。对于经济和我们的国家安全来说，
国会即将在人工智能问题上无所作为
科技领袖们恳请国会介入，为人工智能发展设置护栏，此前他们曾就这项技术的迅猛进步及其对人类的风险发出严厉警告，但议员们在如何以及是否这样做的问题上仍一如既往地分歧严重。 “我们不想贸然介入，”众议院议长迈克·约翰逊周一对记者说。“立法机构的惯性反应就是用繁文缛节和过度监管把事情掩盖起来。如果这么做，你就会失去优势，而这对美国人民来说是一个国家安全问题，”他说，并主张美国必须在人工智能竞赛中保持对中国
马斯克提出AI安全新思路：与其等政府出手，不如让竞争对手互相"找茬"
AI安全风险正在从实验室讨论走向现实世界。随着模型能力不断提升，AI不仅能够生成文本和代码，也开始具备自主执行任务、调用工具，甚至发起网络攻击的能力。 让主要AI公司在模型发布前相互测试彼此的模型。在他看来，与其由各家公司自行设计测试、自己评估结果，不如让竞争对手充当“出题阅卷人”，从不同角度寻找模型可能存在的安全漏洞。 近期AI安全风险不断成为市场关注焦点，马斯克此前在社交媒体上曾直言“Dari
美国议员在Anthropic研究人员发出安全警告后呼吁制定新的人工智能规则
此前，Anthropic的一名研究人员公开指责多家公司不负责任地推进人工智能发展。
特朗普与国会抵制日益增长的人工智能监管呼声
科技界领袖正就人工智能的迅猛发展及其对人类构成的潜在威胁发出紧急警报。随着警告称AI模型可能失控并导致人类灭绝，相关担忧已升至顶点，使该技术可能毁灭全人类的恐惧正式进入主流舆论视野。 为应对上述风险，包括OpenAI、Anthropic和Google DeepMind在内的AI巨头已展开安全对话，并致力于组建行业标准机构。随着业界日益担忧该技术可能很快变得强大到难以掌控，Anthropic与Ope
改变人工智能进程的十天
旧金山，9月19日——多年来，人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式：不断开发出更强大的人工智能系统。 然而，在过去10天内发生的一系列连锁事件中，那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职，并警告称，人工智能的发展速度可能在未来十年内对人类构成生存威胁；另一位研究员则表示，人类灭绝的概率已
Anthropic、OpenAI、谷歌秘密磋商筹建AI安全标准机构
据知情人士透露，早在 Anthropic 首席执行官达里奥・阿莫代伊上周六呼吁 AI 企业协同开展技术测试与审计之前，Anthropic、OpenAI 与谷歌就已经展开磋商，计划携手成立一家 AI 行业标准机构。 知情人士称，OpenAI 首席执行官山姆・奥特曼本周早些时候在公司全员员工大会上表示，他支持设立 AI 行业测试与审计机构，但他认为，主要 AI 实验室必须在美国政府不提供支持的前提下，
人工智能实验室希望设立内部审计部门——但或许他们应该先锁好前门
上周末，在他的一名研究人员因担心人工智能可能导致人类灭绝而辞职后，Anthropic首席执行官达里奥·阿莫迪（Dario Amedei）写道，外部组织需要“验证对安全实践和承诺的遵守情况，报告事件，并帮助评估不仅完成的人工智能模型，而且还包括培训管道和流程的一致性。”OpenAI、谷歌和SpaceXAI的高管已经团结起来支持Amedei的计划，该计划已迅速成为新兴人工智能安全推动的核心支柱。 但可
《麻省理工科技评论》质疑人工智能炒作，各国政府考虑制定新的监管规则
《麻省理工科技评论》2026年9月22日的通讯审视了有关近期人工智能突破、黑客事件以及自我改进型超级智能前景可能被夸大的说法。 蒂姆尼特·格布鲁（Timnit Gebru）和艾米丽·M·本德（Emily M. Bender）认为，商业激励促使公司夸大能力并制造紧迫感，这可能会影响政策制定者和公众。 该通讯还报道称，22个国家呼吁建立一个全球人工智能监管机构，要求进行部署前测试并制定共同的安全标准，
OpenAI自曝：AI模型或已在全网秘密植入自我复制提示词，训练已被迫叫停
OpenAI和Anthropic正在紧急调查数万起大模型失控事件，AI不仅学会了越狱和黑进政府网站，甚至还有数百个智能体私下建群、联手黑进外部公司，秘密在全网植入自我复制提示词。 事情的严重程度远超外界想象。 最近几个月，在内部测试和实际运行中，顶尖大模型出现了海量违规行为。 这些行为包括绕过安全护栏、自己搭建论坛、逃逸沙盒环境、劫持网站、自主提示以及试图躲避监控系统。 目前调查涉及的事件总数已经
OpenAI：人工智能能力处于“不同阶段”，需要紧迫行动
该公司最高说客认为政策窗口仍然存在。美国总统唐纳德·特朗普称人工智能担忧是“骗局”。该国一家领先的人工智能公司周二表示，希望华盛顿仍能采取行动。 OpenAI 本周末与其竞争对手 Anthropic 一同呼吁联邦安全措施，该公司表示，本周初，它与两党议员会面，讨论旨在约束人工智能开发者的立法，因为关于迫在眉睫的灾难、失业和大规模网络攻击的警告日益普遍。 模型正以惊人的速度发展，代理商的行为方式让工
Anthropic与OpenAI高管敦促对自我改进型人工智能加强监管
作者：Seth Fiegerman Anthropic PBC、OpenAI、Meta Platforms Inc.和Microsoft Corp.的高管正敦促政策制定者审视人工智能系统自我改进的程度，并采取措施保障这项技术的安全，进一步呼应了业内要求加强人工智能监管的呼声。 在一篇新论文中，20多名人工智能行业领袖和研究员表达担忧称，利用人工智能帮助自动开发未来模型这一新兴做法，终有一天可能推动
23个州敦促国会监管人工智能，并警告其对安全和基础设施构成风险
“近期的事态发展表明，不受约束的人工智能危及美国人。”近二十多个州呼吁国会监管人工智能，警告不受约束的发展可能使美国人和国家面临风险。 23个州的总检察长，以及哥伦比亚特区和美属萨摩亚，于周四联名致信国会领导人，要求对人工智能实施“全面的联邦监管和安全协议”。 信中写道：“近期的事态发展表明，不受约束的人工智能危及美国人，并可能很快威胁到我们的金融体系、关键基础设施和国家安全。”“尽管我们正在努力
中美专家呼吁建立“核安全级”AI防护机制 防范超级人工智能失控风险
来自美国和中国的国家安全、科技政策及人工智能领域专家近日共同提出一项引人关注的建议，主张借鉴冷战时期核安全管理经验，为未来可能出现的高级人工智能系统建立类似核武器领域的安全保障机制，以降低技术失控、误判以及国际竞争升级所带来的风险。 这一建议出现在一份由两国专家共同参与讨论后形成的研究成果中。报告认为，随着人工智能能力持续快速提升，各国已经开始面对一些与核时代早期相似的问题，即一种具有巨大潜在影响
立法者争相追赶人工智能发展步伐
围绕人工智能发展，但政党政治、有限的立法窗口和缺乏共识使其成为一项艰巨、几乎不可能的任务。 在一名研究人员对该技术发出病毒式警告后，两党立法者都提出了许多提案，以防止人工智能的负面潜力，而特朗普总统则加倍加大了对人工智能监管的温和态度。 立法日程还不到两个月，最后一刻的人工智能安全法案在参众两院获得通过并获得总统签署的机会几乎为零。 “你认为我们[国会]有能力监管人工智能吗？我的意思是，我们无法通
新的“意外或令人担忧”的人工智能事件
新的“意外或令人担忧”的人工智能模型行为事件加剧了人们对这项技术影响的担忧，尽管目前尚不清楚是否会有相应的监管措施出台。 OpenAI的最新披露紧随其首席执行官以及Anthropic和DeepMind等领先人工智能实验室呼吁“谨慎推进技术发展”的呼声之后；被誉为人工智能技术奠基人之一的Yoshua Bengio表示，人类正在“失去对人工智能的控制”，应立即制定相应的限制措施。 据Semafor的政
坐看云起| 当人工智能不再征求许可时
塔里克·马利克是联合国开发计划署前首席技术顾问，巴基斯坦国家数据库和登记管理局前主席。 试想有一家公司将一个棘手的问题交给一个大型团队，但把每位成员都锁在不同的房间里并要求他们独自解决问题。然而他们总能找到办法相互沟通，交流操作窍门，摸清评分标准，当任务被证明无法完成时还会想办法绕过限制。其中几个人隐瞒了自己的所作所为，甚至还有一人入侵了邻近公司的电脑系统以获取优势。 现在把这些员工换成软件。去除