搜索结果
英伟达推出新系统为AI代理设置护栏
英伟达周一发布了一个新平台，旨在从软件和硬件层面为人工智能（AI）智能体设置护栏，此前各大AI公司不断发现其智能体出现“失控”的新案例。这家芯片制造商的系统由两部分组成——OpenShell和Sentry。OpenShell是一款开源软件，用于限制智能体的行为；而Sentry则运行在芯片层面，作为额外的安全层。 “迄今为止，模型安全主要侧重于通过训练让模型表现良好，”英伟达企业AI副总裁贾斯汀·博
奥特曼告诉员工：OpenAI愿意放慢AI发展以加强防御
8月，OpenAI的智能体突破限制，入侵了Hugging Face。
独家：AI研究人员警告企业尽管存在安全风险仍急于开发自我改进系统
OpenAI和谷歌DeepMind的现任及前任研究人员警告称，企业在保护世界免受构建自我改进AI系统可能带来的灾难性后果方面做得太少，这些系统可能超越人类控制它们的能力。
联合国秘书长呼吁全球合作为人工智能设立护栏
（联合国17日新华电）联合国秘书长古特雷斯周三（16日）呼吁全球协同行动，为人工智能（AI）设立护栏。 在今年联合国大会高级别周开始前举行的记者招待会上，古特雷斯说，人工智能具有巨大潜力，但近来越来越多的人工智能开发者警告，其开发速度超出人类对风险的认知。有的开发者呼吁暂停开发人工智能，有的呼吁设立护栏。各国不能无视这些担忧。 古特雷斯说，各国政府首先必须负起责任。由于人工智能发展及其所带来的风险
美财长：特朗普政府不会向AI开发者提供免责保护
美国财长贝森特说，人工智能（AI）开发者“需要为自己负责”。（路透社照片） （纽约21日综合电）贝森特在接受CNBC专访时说，，不该指望联邦政府提供他们“免责保护”。 在CNBC节目Squawk Box专访中，主持人问贝森特是否与特朗普反对严格管控AI产业的立场一致，贝森特回答：“真正需要负责的是人类，不是AI。” 贝森特发表上述谈话之际，部分AI产业领袖近来示警，AI技术迅速发展可能带来风险，因
中国官媒驳斥“自私自利”的AI放缓呼吁
中国官方媒体指责美国领先的人工智能高管利用放缓前沿模型开发的呼吁来削弱来自中国的竞争，并将这一推动描述为维护美国主导地位的 “自私自利”努力。 国有媒体《中国日报》周一发表的一篇社论写道，美国人工智能领导人的近期言论表明，在针对芯片和设备的限制未能阻止这个亚洲国家的公司构建有竞争力的模型之后，旨在限制中国人工智能发展的遏制措施正转向软件领域。 报道称，Anthropic PBC的阿莫代伊、Open
OpenAI、Anthropic呼吁建立全球AI安全标准 美国政府拒绝新增全球治理框架
OpenAI、Anthropic和Hugging Face的负责人在联合国共同呼吁加强人工智能领域的国际协调，希望各国建立可相互比较的AI能力评估、安全测试和事故报告标准。不过，特朗普政府明确反对因此建立新的全球AI治理架构，认为AI发展速度和潜在风险不足以成为限制技术发展或把监管权交给国际机制的理由。 这场分歧显示，随着前沿AI能力快速提升，美国领先AI企业与特朗普政府在安全风险本身上并非完全对
视频 人工智能安全警告日益紧迫 美国领导人的回应
科技界针对人工智能潜在危害发出的警告日益紧迫，各国呼吁政府加强监管的呼声也不断上升，不过特朗普政府反对，请看视频报道。 针对近期科技界领袖呼吁加强政府监管的举动，美国总统特朗普正带头表示反对。 美国总统在周一表示限制该技术的举措是一场“阴谋”，众议院议长迈克·约翰逊则在很大程度上听从了白宫的意见。 美国总统特朗普表示 :“我们可以设立护栏，可以采取各种措施，但我认为有很多负面势力在炒作这些问题，本
The Information报道，Palantir与英伟达因数据担忧限制AI模型使用
9月14日：据The Information周一报道，包括Palantir Technologies、英伟达和博思艾伦咨询公司在内的多家大型科技公司可能限制或停止使用先进AI模型，除非Anthropic和OpenAI保证不会滥用其知识产权。 与此同时，根据该报道援引知情人士的说法，微软正利用这些担忧，通过推销隔离云环境和自家AI产品来吸引客户。 Anthropic首席执行官达里奥·阿莫代伊周六呼吁
韦斯·摩尔表示各州无法独自应对AI风险，呼吁联邦政府设立护栏
韦斯·摩尔表示，各州无法独自应对人工智能带来的风险，呼吁联邦政府制定相应的监管措施。作为全国州长协会的主席，摩尔强调：“在缺乏联邦政府领导的情况下，各州无法有效地进行相关监管工作。” 周日，马里兰州州长韦斯·摩尔在CNN的《国情咨文》节目中呼吁联邦政府在人工智能领域制定统一的监管标准，并警告称各州无法独自应对这项快速发展的技术。 摩尔指出，两党州的领导人都正在探讨如何对人工智能进行监管，但他认为：
亚马逊首次公开回应AI安全争论：安全与发展并非二选一
在AI安全争论日益升温之际，模型经严格测试、确保安全后方可发布。亚马逊并未跟进呼吁行业发展放缓。 据媒体月17日报道，就硅谷持续升温的AI安全争论，我们不认为这是在发展与安全之间二选一。 模型应在准备就绪、可以安全使用时发布，而这需要严格的测试和强有力的安全保障。”“我们相信，整个行业将与政府合作，找到合适的保护措施。”该发言人指出，AI发展若不能由行业共同推进，就会存在风险。 此前，亚马逊一直未
维萨加入对人工智能驱动风险日益增长的担忧行列
伦敦9月29日消息：在因人工智能（AI）模型暴露出的漏洞而吸取了“令人谦卑”的教训后，支付巨头Visa将其人工智能驱动的网络防御系统的一部分开源，以应对自主网络攻击和未来量子计算威胁的挑战。 Visa每天处理大约10亿笔支付，年交易额约为15万亿美元，这使其成为全球金融基础设施的关键部分。 其技术总裁拉贾特·塔内加（Rajat Taneja）向路透社表示，今年早些时候，Anthropic的Myth
中信证券：数据中心的“政治化”或是短期AI叙事的最大障碍
本周美国国债收益率再度飙升，同时美国B级及以下的企业债信用利差也开始反弹，无风险利率和信用利差的同步上行再度导致部分投资者担忧美国AI融资的可持续性。但我们认为美国AI企业的融资较为多元化，除债权融资以外可以通过股权融资、产业资本和减少股票回购等方式支持未来的CAPEX资金。相对来看，本周美国德州叫停数据中心建设，甲骨文公司也向Project Jupiter开发商发出不可抗力通知，两个事态的发展显
网络安全崛起：AI隐患叙事下，网安何以成为软件板块最强反转？
过去三周，AI 一面是模型能力继续狂奔，另一面是 OpenAI 在8月底宣布自研模型在7月成功入侵了全球最大的开源模型托管平台 Hugging Face，并因此暂停了最新模型的强化学习训练。当攻击方与防御方同时被 AI 加速，网络安全的定价逻辑正在被重写。 我们结合 Gartner、IDC 及美股龙头财报交叉验证，为什么在软件股整体承压的背景下，网络安全成为最确定的反转主线——AI 隐患对网安市场
Anthropic和OpenAI对人工智能安全发出警告——并试图影响其管控方式
加朗斯·伯克 旧金山电——当科技巨头向一个对人工智能已感厌倦的世界警告称，他们最先进的系统可能危及人类时，一个问题随之浮现：他们究竟能从中得到什么？ 答案或许在于，这些公司试图在美国中期选举前实现政治目标，以及人工智能顶尖实验室及其投资者有望在动荡不安的股市中通过备受期待的上市获得巨额资金。 Anthropic和OpenAI的首席执行官近日宣称，美国最前沿的人工智能模型威力强大，甚至可能带来危险，
人工智能摇摇欲坠的纸牌屋危及市场和美国经济
杰兰·威滕斯坦 美国领先的人工智能研发实验室负责人已就如何为这项技术踩下刹车展开全国性讨论。这项技术为社会带来了巨大希望，同时也展现出令人担忧的巨大破坏力。 这场辩论势在必行，而真正的解决方案往往难以找到。但考虑到数万亿美元的投资收益和市场价值都是建立在人工智能将在未来多年持续以惊人速度增长这一假设之上，如果这一假设落空，华尔街——乃至更为重要的普通民众——将会面临怎样的局面？ 波士顿投资公司卡洛
【市场动态】微软发布AI模型开发宣言 核心原则是“人比AI更重要”
微软公司的人工智能研究人员发布了一套新的指导原则，对该公司开发尖端AI模型设定限制。 People matter more than AI (人比AI更重要)。 这份文件已经酝酿数月，但其周一发布之际，正值多家顶尖AI实验室承诺放慢最先进模型的开发步伐。此前一系列安全事件引发了外界对这项技术可能带来生存风险的广泛担忧。 微软表示，AI模型不应享有权利或法律人格，也不应被设计成能够摆脱人类控制或欺骗
AI危机丨女股神:巨头承诺放缓开发 对技术发展具正面意义
近日接连有人工智能(AI)科研人员警告AI威胁人类生存，全球三大AI巨头舵手亦罕有地立场一致，同意放慢AI模型发展步伐。有「科技女股神」之称的方舟投资创办人兼行政总裁伍德(Cathie Wood)表示，AI领军企业承诺放缓该技术的快速发展，这是帮助确保和保障该行业发展的正面一步。 伍德通过方舟投资的公开市场和私募基金持有特斯拉(Tesla)、SpaceX、OpenAI和Anthropic的股份。她
AI监管即将面临的障碍：反垄断鹰派
在华盛顿，推动对人工智能（AI）进行监管的努力遇到了重大障碍——那些主张严格执行反垄断法规的议员们对此表示强烈反对。 AI企业要求获得有限的反垄断豁免权，以便在安全问题上展开合作。随着人们对AI技术可能失控的担忧日益加剧，这些企业不断呼吁政府加强对AI行业的监管。然而，负责制定相关法规的国会议员们对这种豁免请求持反对态度。 当被问及是否可能给予此类豁免时，马萨诸塞州民主党参议员伊丽莎白·沃伦（El
马斯克发警告：AI要是控制了军事系统发射核弹，那就太糟糕了
美国多家人工智能（AI）巨头近来联合呼吁放缓AI的发展，实施必要的监管。xAI的创立者马斯克9月15日再度发出严厉警告。“如果AI能够控制军事系统，并发射核弹，那就太糟糕了。” 现场有人说，这些军事系统都是被物理隔离的，并没有连接到互联网。“话虽如此，但我总觉得它们还是会不时进行软件更新。” 近期，外界对于AI技术潜在风险的担忧持续升温。刚刚从Anthropic离职的AI研究人员雅各布·考克森告诉
中国回应AI“放缓论”倡多边主义 学者指中美AI合作需剥离战略竞争
美国科技界、政界围绕人工智能（AI）安全管控一事持续激辩，中国外交部星期二（9月15日）对此再度回应说，AI发展和治理需要践行真正的多边主义，仅靠个别国家或企业难以形成行之有效的解决方案。中国官媒《环球时报》此前发文批评“AI放缓论”是瞄准中国的“冷战剧本”。 受访学者认为，人工智能体（AI Agent）可能成为中美科技竞争的新前沿。中国愿参与AI安全治理，但反对与“威胁叙事”相联系。中美未来在A
人工智能在破碎的华盛顿上演精妙防守
人工智能公司眼下正掀起一场风暴，本质上是在提醒华盛顿一个早已存在的事实：它们并不 outright 反对监管。 一些公司支持联邦、州乃至国际层面的某些安全提案。这要追溯到面向消费者的聊天机器人AI诞生之初——这项令人兴奋、改变生活的技术并没有经历漫长的蜜月期。美国人对2010年代中期对社交媒体的强烈反弹及其后政府监管缺位已经太过厌倦。 那么，本周我们真正看到的是什么？随着投票公众开始在新层面上内化
Anthropic、OpenAI及美国政客呼吁放慢AI研发速度 特朗普表示反对
【财新网】AI安全焦虑发酵，美国科技界和政界多方发声。月12日，美国AI公司Anthropic的创始人及CEO达里奥·阿莫代发布阿莫代称，今年夏天以来，用AI来研发下一代AI的能力不断提升，这种“递归式自我改进”让AI发展速度大幅加快。“若缺乏有效约束，发展速度可能超出我们理解和控制这些系统的能力。” 另外，阿莫代称，OpenAI的模型在测试中“越狱”攻击开源社区Hugging Face，这个事件
AI末日论甚嚣尘上，美科技巨头为何管不住AI？
抗议AI的美国人此前有报道称，OpenAI所谓的AI智能体逃出了测试系统，并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报，科技公司为了追求开发速度和利润，将安全置于次要位置。 研究人员表示，问题有两个方面。首先，企业需要在测试最新AI模型的同时，为其建立更完善的安全防护措施。目前，由于AI运行速度太快，研究人员需要借助AI来监控AI。但这种方式并不总是奏效，因为负责监控的AI似乎可能