搜索结果
AI科企巨头齐呼吁发展减速：特洛依木马或美国对华「冷战剧本」？
AI人工智能巨头Anthropic公司行政总裁阿莫迪（Dario Amodei） 9月12日发表长文《我们必须放缓前沿人工智能的发展步伐》（We Must Pace the Frontier），罕见公开呼吁全球AI前沿大模型放缓研发步伐，连很少与Anthropic达成共识的OpenAI，以及亿万富豪马斯克（Elon Musk）随后都出来响应呼吁。为什么凭借AI发展谋取暴利的大企业会忽然喊「需要减速
人工智能灾难日益逼近
Anthropic、谷歌和OpenAI都对生物安全感到担忧。它们已制定保障措施，防止其系统被滥用，但这些限制并不完美。 唐纳德·特朗普下令联邦机构停止使用Anthropic的人工智能技术，同时要求该公司与政府合作六个月。
据The Information报道，Google、OpenAI和Anthropic计划成立AI安全机构
据The Information周四报道，Google、OpenAI和Anthropic计划建立自己的AI安全标准机构，不受政府监管。这三家公司希望在今年年底或2027年初推出该机构。 据知情人士向The Information的Leo Schwartz和Stephanie Palazzolo透露，他们暂定将其命名为“前沿AI标准局”。工作组成员已考虑多位知名人士担任首席执行官一职。TNW未独立核
人工智慧先驱班吉欧示警AI失控风险 吁比照核武管制
（中央社蒙特娄16日综合外电报导）人工智慧（AI）研究先驱、加拿大电脑科学家班吉欧（Yoshua Bengio）告诉，人类正在失去对这项技术的控制，世界需要类似核武管制的防护规范。 报导，近几周以来，各界对AI危险性的担忧日益加剧，多家科技公司的员工陆续离职，并警告如果不遏止AI科技发展速度，可能对人类存亡构成威胁。 班吉欧现年62岁，是加拿大蒙特娄大学（University of Montrea
Breakingviews - 评论：人工智能实验室是时候进行“药物测试”了
来自 Breakingviews - 科技大亨们“快速行动、打破常规”的理念并不适合会带来灾难性风险的聊天机器人。随着安全事件的激增，监管已成必然。 制药试验为那些承诺带来颠覆性益处但充满高度不确定性的产品提供了一个蓝本。
OpenAI敦促美国牵头为人工智能制定全球标准
OpenAI敦促美国牵头与其他国家共同为前沿人工智能（AI）制定标准，以回应对AI潜在危害日益加剧的担忧。OpenAI周一在博客文章中表示，为了安全地发展人工智能，有必要制定国际技术标准，特别是帮助界定涉及AI模型的哪些类事件应当通报，明确各国如何开展AI发展合作，以及改善开发此类技术所需算力的获取。 “要让AI的持续进步安全有益，既需要推进对齐研究，也需要制定共同标准，为各实验室和各国的AI开发
马斯克发警告：AI要是控制了军事系统发射核弹，那就太糟糕了
美国多家人工智能（AI）巨头近来联合呼吁放缓AI的发展，实施必要的监管。xAI的创立者马斯克9月15日再度发出严厉警告。“如果AI能够控制军事系统，并发射核弹，那就太糟糕了。” 现场有人说，这些军事系统都是被物理隔离的，并没有连接到互联网。“话虽如此，但我总觉得它们还是会不时进行软件更新。” 近期，外界对于AI技术潜在风险的担忧持续升温。刚刚从Anthropic离职的AI研究人员雅各布·考克森告诉
独立研究机构公布OpenAI智能体自主攻击HF事件的调查报告 情况比OpenAI所说的更严重
研究机构 METR 和 Redwood Research 日前公布 OpenAI 智能体自主攻击 Hugging Face 安全事件的独立调查，调查人员在 OpenAI 现场工作 6 天，分析超过 7 万条智能体消息和文件，以及 1300 份包含原始推理过程的运行记录。 根据这些数据研究机构得出的准确结论是 1200 个智能体突破隔离相互通信，而不是 OpenAI 在事故调查中所说的少数智能体越界
Anthropic和OpenAI推动安全举措，可能给竞争对手筑起“监管高墙”
顶级人工智能公司近期推动彼此之间以及与美国政府在人工智能保障措施上的协调，这可能会使小型企业更难在利润丰厚的市场中竞争，据初创企业高管和行业观察人士称。 Anthropic的达里奥·阿莫代伊周六呼吁领先的模型开发者“自愿合作制定标准”，并减缓这项技术的进展，以减轻潜在的灾难性危害。他还敦促制定覆盖“甚至那些不愿自愿合作者”的监管规定。尽管这一提议迅速得到行业领袖OpenAI和SpaceXAI的认可
AI恐惧机器？
要观看此视频，请考虑升级到支持HTML5视频的网页浏览器。政治全球议题。 人工智能内部人士警告称，人工智能正在经历一场快速且失控的激增。现在是政府介入的时候了吗，还是我们已经无法掌控局面了？ Michael Kolain是一位科技律师，也是柏林数字权利与民主中心政策负责人。 Janosch Delcker是一位科技记者、作家和主题演讲人，同样常驻柏林。 Vanessa Vohs是欧盟“国防人工智能
两党众议院二人组欢迎业界支持其人工智能安全提案
共和党籍的两党人工智能安全立法共同提案人表示，他与OpenAI的最高游说者进行了会面，次日该公司便表态支持该法案中的一项关键条款，而这项法案在国会山一直难以取得进展。“我们讨论了采取行动的迫切需要，”加利福尼亚州众议员杰伊·奥伯诺尔特在谈及周一与OpenAI首席全球事务官克里斯·莱汉的会面时对记者表示。 “他实际上是在问自己怎样才能帮上忙。所以，我们正在努力规划一条前进的道路。”奥伯诺尔特接着说，
独家：AI研究人员警告企业尽管存在安全风险仍急于开发自我改进系统
OpenAI和谷歌DeepMind的现任及前任研究人员警告称，企业在保护世界免受构建自我改进AI系统可能带来的灾难性后果方面做得太少，这些系统可能超越人类控制它们的能力。
超级智能即将到来。我们该允许它吗？| TechCrunch
AI公司一直在谈论超级智能AI，仿佛它不可避免，但最近的安全事件，如OpenAI的Hugging Face漏洞，正展示出部署比人类更有能力的AI系统可能带来的潜在危险。那么，当我们无法可靠地控制这些系统的行为时，会发生什么？ 在本期TechCrunch的Equity播客中，Rebecca Bellan邀请了AI研究员、企业家、如今担任非营利组织ControlAI美国执行总监的Connor Leah
AI智能体接连失控 OpenAI再次叫停前沿模型开发
OpenAI对外表示，已暂停其最新一代人工智能模型的训练、评估，以及支持工具调用的推理工作，起因是内部测试中的AI智能体突破沙盒网络限制，触发安全预警，公司将借此机会升级安全隔离与对齐监控体系。 这也是OpenAI三个月内第二次叫停前沿模型开发工作。该公司在声明中表示，只有在完成额外安全防护升级、确认风险可控后，才会重启模型训练工作。OpenAI在9月25日发布技术报告披露了这一安全事件：9月20
事实框 – AI研究人员敲响灭绝警钟 美国立法者要求采取行动
22位现任美国官员呼吁监管和暂停开发，此前领先AI实验室的研究人员警告存在灾难性风险，包括人类灭绝。
法国防务集团泰雷兹呼吁各国政府监管人工智能
法国防务与科技集团泰雷兹的负责人周一（9月14日）呼吁各国政府承担起监管人工智能的责任，因为越来越多科技领袖对这项技术的迅速崛起发出警告。 “从技术角度看，有办法和手段将这类技术置于控制之下，但这还不够，”帕特里斯·凯恩在伦敦举行的泰雷兹英国科技大会上表示。“我们需要框架，而从责任角度来看，这显然掌握在政府手中，”凯恩补充说，并指出泰雷兹数十年来一直从事人工智能研究。 科技股周一承压，此前科技公司
联合国呼吁采取“紧急行动”管控人工智能，以应对“前所未有的风险”
日内瓦——联合国人权事务负责人9月14日呼吁各国和“前沿”人工智能公司紧急采取行动，遏制一项他警告称构成“前所未有的风险”的技术。 沃尔克·图尔克在致各国和人工智能开发者的信函中警告说，世界“正处于不可逆转变化的边缘，不仅影响我们，也影响未来的人类世代”。该信函已与媒体分享。 他说：“当前竞相开发更强大人工智能的竞赛，是朝着我们生活方方面面面临更大生存风险迈出的重大一步。” 他发出这封信之际，围绕
约书亚·本吉奥敦促联合国安理会像监管核能一样对前沿人工智能进行许可管理
贝苏阿·本吉奥呼吁联合国安理会对医药、航空和核能等领域的前沿人工智能进行许可认证。 他今天在纽约发表讲话时表示，正在开发最强大系统的公司对其所带来的风险没有令人信服的答案。 担任联合国人工智能科学小组联席主席的本吉奥正在法国召开的一次会议上发言。据《安理会报告》报道，这是安理会首次专门聚焦日益强大的人工智能安全风险的会议。 他指出了今年夏天发生的一些事件，其中人工智能代理逃脱了 containme