搜索结果
英伟达推出新系统为AI代理设置护栏
英伟达周一发布了一个新平台，旨在从软件和硬件层面为人工智能（AI）智能体设置护栏，此前各大AI公司不断发现其智能体出现“失控”的新案例。这家芯片制造商的系统由两部分组成——OpenShell和Sentry。OpenShell是一款开源软件，用于限制智能体的行为；而Sentry则运行在芯片层面，作为额外的安全层。 “迄今为止，模型安全主要侧重于通过训练让模型表现良好，”英伟达企业AI副总裁贾斯汀·博
消息称扎克伯格与特朗普通话 反对建立全国AI监管机构
据《商业内幕》报道，Meta CEO马克·扎克伯格(Mark Zuckerberg)上个月在一次此前未被报道的电话中，向美国总统特朗普表达了对建立全国性AI监管机构计划的担忧。此举标志着这位全球顶尖科技企业高管参与到了一场充满争议的白宫AI政策辩论中。 扎克伯格与特朗普在美国建立AI监管机构的计划，由诺贝尔奖得主、谷歌DeepMind科学家德米斯·哈萨比斯(Demis Hassabis)推动，并得
白宫科技顾问抨击美AI巨头：你们自己得保证产品安全 别老想着靠政府
Anthropic和OpenAI等顶尖AI公司应该自己确保产品安全，并在必要时自行放缓发展速度，而不是需要政府介入。 萨克斯表示，他赞同美国联邦贸易委员会前主席莉娜·可汗(Lina Khan)的观点。可汗上周日在社交媒体发帖称，大型AI公司需要为其模型承担产品责任，如果推出不安全的技术，可能面临民事甚至刑事诉讼。 这位白宫科技顾问还抨击了Anthropic CEO达里奥·阿莫代伊(Dario Am
OpenAI呼吁美国制定强制性全国AI安全规则 并支持四项加州法案
OpenAI当地时间9月9日表示，将推动美国建立具有强制约束力、按照模型能力和风险分级的全国人工智能安全制度。公司提出，针对开发最先进模型的少数大型实验室，应设置统一的测试、独立评估、网络安全和重大事故报告要求。 OpenAI发布文章，名为“AI政策窗口打开。我们需要采取行动。” 与此同时，OpenAI正式支持四项已经通过加州议会的人工智能法案。公司称，其中部分法案此前未获其支持，此次调整立场源于
AI实验室是否应被视为危险动物的主人？
此前对人工智能和网络安全的担忧主要集中在恶意人类可能利用该技术造成的危害上。自主黑客攻击代表了一种新的风险，自主AI黑客攻击已经到来。各国政府尚未做好准备。
奇普·罗伊即将离开国会——但在离开前警告同僚要认真对待人工智能的威胁
奇普·罗伊即将离开国会——但在走之前，他向同僚们发出了关于人工智能的警告。这位得克萨斯州共和党人通常不是轻易让步的人。但如今他说，自己正在苦苦思索人工智能的出现可能对我们所熟知的生活意味着什么。 众议员奇普·罗伊并非以温情脉脉的立法风格著称。但这位坚定的保守派在准备于年底离开国会之际，提出了一个棘手的哲学问题：人工智能的迅速崛起是否可能将人类的统治权拱手让给“没有灵魂的实体”。 这位得克萨斯州共和
OpenAI 想知道人工智能行业放缓是否合法
据知情人士向《连线》杂志透露，OpenAI 近几周已向国会议员寻求明确指导，询问协调整个行业放缓前沿人工智能开发是否合法。 知情人士称，人工智能实验室之间在安全方面的实质性协调可能触犯反垄断法，这给让大型科技巨头参与这项努力带来了重大障碍。 上周末，OpenAI 首席科学家雅库布·帕霍茨基发表博客文章，认为人工智能研究领域的最佳前进道路包括“协调以减缓未来发展”，他认为这对于确保自我改进的人工智能
Legora的首席执行官表示，欧洲不应建立前沿人工智能实验室
“我认为，这其中很多都是营销手段，目的是为了过分夸大这些人工智能技术所具备的能力。”马克斯·朱内斯特兰德（Max Junestrand）在周二于阿姆斯特丹表示。当被问及今年夏天发生的多起人工智能系统攻击其他公司的事件时，这位Legora公司的联合创始人兼首席执行官对Politico表示：“随后发布的那些警告其实并不可信。” Legora是一家为律师提供人工智能工具的公司，也是欧洲最大的AI企业之一
传统防火墙无法识别AI提示词中的内容，Check Point为此开发了一款可以做到的防火墙
将近一半的组织对其AI代理产生的机器间流量完全处于盲区，而用于监控企业网络的工具从未被设计用来查看提示词内部。 Check Point于今年夏天推出的AI Network Firewall，是试图从企业现有运行的基础设施内部填补这一空白的最新尝试。根据
OpenAI自曝AI“黑历史” 外人却又翻出更多“旧账”
OpenAI决定持续披露AI“越界”事件，但第一步就碰上了难题。9月16日，OpenAI一口气公布六份模型异常行为报告，并推出一套新的调查和披露流程。以后，员工发现模型越权、隐瞒或绕过限制，可以提交调查；符合条件的案例，将按复杂程度进入不同的披露轨道。 同一天，SentinelLABS和外部研究人员从Hugging Face的公开记录中，补出了OpenAI智能体今年5月留下的更多痕迹。OpenAI
美国需要灵活的技术治理方法
本周早些时候通过的一项加州新法律为“独立验证组织”创建了一个框架，这些组织可以在前沿AI模型发布之前对其进行测试，从而限制这些模型可能带来的任何风险。 这项新法律出台之际，AI监管的可行性正因不可能且过于昂贵而受到质疑。像这样的法律，即使相对仓促地通过，也几乎会立即过时。 前沿实验室构建的模型已经变得如此庞大，以至于需要其他AI模型来分析它们。METR对OpenAI-Hugging Face黑客事
【市场动态】OpenAI首席科学家称AI或很快迈入自我进化阶段 期望业界自愿放缓开发
OpenAI首席科学家Jakub Pachocki警告，人工智能正在以极快速度演进，以至于越来越难以为人类所理解和控制。 【彭博9月8日电】OpenAI首席科学家Jakub Pachocki警告，人工智能正在以极快速度演进，以至于越来越难以为人类所理解和控制，并称他期望AI实验室将出于安全考虑自愿放慢开发速度。 Pachocki周日在一篇文章中写道，在相对较短的时间内，AI模型已经能够操作电脑、与
马斯克提议AI巨头在模型发布前相互测试
在AI安全争议持续发酵之际，马斯克提议让竞争对手互相把关。他主张头部AI公司在模型发布前彼此交叉测试，并认为这一机制应尽快推向全球，且中国的参与不可或缺。 在具体操作层面，马斯克提出，模型开发方应在发布前向同行提供 I 访问权限。如果被指出的问题迟迟未获解决，竞争对手可以公开表态，宣称该模型的发布并不安全。在他看来，这种公开质疑将带来巨大的法律责任压力，从而形成事实上的约束力。 马斯克同时强调，该
AI丨美国三大科企据报研究成立AI安全标准机构
人工智能安全等问题引起市场关注，The Information报道，美国三大科技企业Anthropic、OpenAI和谷歌正讨论合作成立一个AI安全标准机构。 随着市场对AI模型网络攻击及可控性问题担忧日益加剧，多间AI科技企业已表示关注安全问题，并拟放慢AI发展步伐。报道指，三大机构早于7月时已开会研究有关成立独立机构的事宜，旨在为AI技术测试和审核创建一个协作框架。 Anthropic行政总裁
随着对人工智能的担忧加剧，OpenAI、Anthropic和谷歌正在商讨建立一个标准机构。
全球最大的AI公司正致力于创建一个新的行业标准机构，OpenAI于周二表示，此举正值人工智能风险引发的担忧日益加剧，要求加强监管和推动技术更安全发展的压力不断增大。 全球最大的AI公司正在着手创建一个标准机构，ChatGPT的开发者OpenAI于周二表示，眼下人们对AI危险的担忧日益上升，并且面临创造更安全版本技术的压力。 阅读更多扎克伯格在AI宣言中设想为每个人实现“超级智能” OpenAI表示
OpenAI首席执行员下周赴安理会作简报
阿尔特曼下周将到联合国安理会进行简报。（图：路透社） （华盛顿19日法新电）OpenAI周五表示，该公司首席执行员阿尔特曼将于下周在联合国大会期间，向联合国安全理事会作简报。 此次会议由国安理会轮值主席国的法国组织召开，此前该行业的主要参与者曾表示，出于安全考虑，可能有必要放缓人工智能的发展步伐。 随着人们对这项快速发展的技术所带来的危险的担忧日益加剧，联合国秘书长古特雷斯周三呼吁采取协调一致的国
美参院拟赋权政府 阻止危险AI模型发布
。目前这仍是正在讨论中的提案，而非已正式提出或通过的法案。
美国参议院委员会对OpenAI展开调查
据美国方面10日消息，美国参议院国土安全与政府事务委员会灾害管理小组委员会主席乔希·霍利9日致信美国开放人工智能研究中心（OpenAI）首席执行官奥尔特曼，表示正在因美国“抱抱脸”公司系统遭侵入事件对OpenAI展开调查。 霍利表示，从OpenAI发布的内部调查报告看出，其对网络测试的处理方式是“鲁莽的”。 他还指出，OpenAI对报告中有关这起事件的许多重要细节进行了编辑、删减。 今年7月，由O
以关切为伪装的杠杆：大型科技公司想要一个受政府保护的人工智能垄断
关键信息：本文由菲尔·克莱因（Phil Kline）撰写。OpenAI的首席执行官萨姆·奥尔特曼（Sam Altman）在2026年9月23日星期三于联合国总部举行的第81届联合国大会期间，出席了关于人工智能的安全理事会会议。 萨姆·奥尔特曼及其团队最近多次警告称人类可能会“失去对未来的控制权”，而媒体对这些警告的反应往往是肤浅且短视的（即媒体将这些警告视为无足轻重的警告）。然而，这些警告其实是在
改变人工智能进程的十天
旧金山，9月19日——多年来，人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式：不断开发出更强大的人工智能系统。 然而，在过去10天内发生的一系列连锁事件中，那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职，并警告称，人工智能的发展速度可能在未来十年内对人类构成生存威胁；另一位研究员则表示，人类灭绝的概率已
华盛顿在人工智能问题上的瘫痪：放手一搏还是紧急刹车
特朗普总统 i一位政治家对人工智能的全力投入，就像踩足油门、毫无刹车，对反乌托邦风险或公众不满毫无顾虑。 民主党在人工智能问题上的立场矛盾重重，既对实验室持怀疑态度，又被它们的警告所震慑，但在是否应全面叫停人工智能的问题上却存在分歧。 为何如此？这一惊人的分歧使得今年就联邦人工智能监管达成共识几乎不可想象——而且很可能直到2029年初都是如此，无论谁赢得国会控制权。 聚焦特朗普从第一天起就以人工智
对AI安全疑虑“末日”警告 也难浇熄投资热情 放缓IPO步伐
Anthropic首席执行员阿莫戴上周末呼吁应放慢先进AI的开发脚步，但未提IPO。（路透社照片） （旧金山18日法新电）尽管近期出现了诸多关于人工智能（AI）恐会“毁灭”人类的末日警告，美国人工智能（AI）独角兽Anthropic仍有望在今年晚些时候通过首次公开募股（IPO），抢在竞争对手OpenAI之前上市，其上市规模有望成为史上最大之一，但AI公司的商业模式以及监管机构是否应介入的问题依然备
OpenAI 的奥特曼：世界“理应感到恐惧”，但“应该信任”AI 公司
OpenAI首席执行官山姆·阿尔特曼（Sam Altman；奥特曼）认为，尽管公众对人工智能（artificial intelligence, AI；人工智慧）发展的各种风险的担忧日益加剧，但人们应该对他的公司和其他同行公司更有信心，相信它们在 AI 开发上会做正确的选择。 周二（9月15日）在旧金山（San Francisco）举行的一场会议上，“世界应该相信我们会做正确的事，因为那就是正确的事
“理应担忧”：联邦医疗保险数据泄露后，追究人工智能公司责任的呼声日益高涨
跨党派议员Allegra Spender表示，她怀疑世界领先人工智能公司的负责人会“出席”参议院调查，但呼吁在今年早些时候发生Medicare数据泄露事件后加强问责。绿党已传召OpenAI和Anthropic的负责人出席参议院关于AI数据中心的调查。 “AI公司需要赢得社会许可，”绿党参议员兼调查主席Sarah Hanson-Young在周末表示。“这始于透明度和问责制。” “OpenAI首席执行