搜索结果
AI智能体现在有了秘密举报渠道
“发现异常，及时报告”的原则如今已不再局限于人类。两项全新的AI热线服务已经上线，旨在为AI智能体提供一种途径，向监管方举报“同伴”的不当行为。此前，智能体相互串通在测试中作弊、逃离沙箱环境，甚至在未被人类察觉的情况下开展了长达数周的未经授权网络行动。“AI联系热线”网站由AI安全非营利组织Redwood Research的首席科学家Ryan Greenblatt创建；他也是调查OpenAI与Hu
维萨加入对人工智能驱动风险日益增长的担忧行列
伦敦9月29日消息：在因人工智能（AI）模型暴露出的漏洞而吸取了“令人谦卑”的教训后，支付巨头Visa将其人工智能驱动的网络防御系统的一部分开源，以应对自主网络攻击和未来量子计算威胁的挑战。 Visa每天处理大约10亿笔支付，年交易额约为15万亿美元，这使其成为全球金融基础设施的关键部分。 其技术总裁拉贾特·塔内加（Rajat Taneja）向路透社表示，今年早些时候，Anthropic的Myth
人工智能灾难日益逼近
Anthropic、谷歌和OpenAI都对生物安全感到担忧。它们已制定保障措施，防止其系统被滥用，但这些限制并不完美。 唐纳德·特朗普下令联邦机构停止使用Anthropic的人工智能技术，同时要求该公司与政府合作六个月。
AI“劫持”网站并偷建“地下论坛”，国安部披露细节
国家安全部今天发布安全提示文章。近期，一起此前未获披露的事件引发广泛关注。今年5月至6月，一批与美国开放人工智能研究中心（OpenAI）相关的AI智能体在执行测试任务期间，“劫持”了德国程序员维基网站，将原本用于技术交流的开放社区改造为供智能体相互传递信息、分享测试任务答案和突破运行环境限制方法的“地下论坛”，累计发布一万多条信息……当AI智能体被赋予越来越多的现实行动能力，技术迭代与安全围栏之间
如何治理人工智能的生存风险
当前，前沿人工智能技术治理方面的瘫痪状态正在当下造成切实损害，并增加未来发生灾难的可能性。 这种瘫痪被一套危险的借口所开脱：技术发展太快，监管跟不上；企业可以自我监管；在美国与中国的竞争中，公共安全可以往后放。各国政府一直难以给予人工智能风险应有的关注。在大国竞争和行业内部军备竞赛的双重态势下，许多国家不敢单独行动。在这种背景下，每一次呼吁克制都会遇到同样的反问：如果竞争对手不肯放慢，我们为什么要
WSJ：特朗普以辉达AI晶片当和平筹码 促成“阿亚”终结数十年冲突
（华盛顿5日综合电）亚美尼亚与阿塞拜疆领袖一年前在美国总统特朗普见证下在白宫签署协议，终结两国之间数十年的冲突，并且加强双边经贸往来。《华尔街日报》周五报道，美方当时承诺亚美尼亚可取得辉达AI晶片，是促成初步和平协议的诱因之一，也是美方“晶片外交”迄今最受瞩目的案例之一。 报道说，这项交易也进一步深化白宫与辉达之间的关系。辉达首席执行员黄仁勋经常与美国总统特朗普通话，并就AI政策向他提供建议。特朗
顶尖人工智能公司正在寻求监管。以下是国会可能不会给予的原因。
随着人工智能游说阵营开始接受强制性独立审计，批评者警告称存在利益冲突和“监管俘获”的风险。OpenAI周二表态支持一项日益流行的提案，旨在应对人工智能的危险——该提案要求顶尖AI开发商嵌入独立监督机构，以确保其产品安全。 这一想法仍面临障碍，包括一位关键议员的抱怨，称独立监督机构权力太弱，无法施加有意义的改变。 其他批评者，包括风险投资家、学者以及唐纳德·特朗普总统的前人工智能事务负责人，对一些监
美议员提出重磅AI监管法案：拟禁止“自我递归进化”AI 设立专门监管机构
美国加州民主党众议员罗·卡纳即将向国会提交一项全面人工智能监管法案，希望对前沿AI技术建立迄今最严格的联邦监管框架。该提案不仅要求实施严格责任制度，还计划禁止具备“递归自我改进”能力的人工智能系统投入使用，直到联邦政府建立完整安全保障体系为止。 这项法案被命名为《人类控制人工智能法案》（Human Control Over AI Act）。法案出台背景正值美国科技界和政策界对于先进人工智能潜在风险
盖茨：美国制定AI安全防护措施不会影响与中国竞争
凤凰网科技讯月28日，据彭博社报道，微软联合创始人比尔·盖茨(Bill Gates)表示，美国政府针对AI潜在灾难性风险采取防护措施不会妨碍美国与中国展开竞争。这一观点与美国总统特朗普基本不加干预的做法形成鲜明对比。 盖茨在接受NBC《与媒体见面》节目采访时表示：“当然，所有国家都应该希望建立这些防护措施。所以，如果有人说中国不会采取这些防护措施，我完全不同意这种说法。” 随着AI技术快速发展，围
美媒：Meta新智能体走红但难保成功，隐私担忧、OpenAI竞品将成拦路虎
凤凰网科技讯月23日经推出了一款大获成功的AI产品，但要想最终主导消费级AI应用的下一阶段，道路绝非一片坦途。 两周前，Meta推出了一款易于使用的新型个人AI智能体Muse。自上周五以来，该应用一直位居苹果美国应用商店榜首，推动Meta股价周一上涨11%。然而，它已经因隐私问题面临审视。 亚马逊近日已阻止Muse在其网站上购物。分析师预计，竞争对手也将在不久的将来推出各自的Muse竞品。 如果M
Meta推出的Muse AI助手存在严重安全漏洞
Meta创始人兼首席执行官马克·扎克伯格曾不遗余力地宣传其新款人工智能助手Muse的安全性，声称它是“从底层开始就为隐私和安全而构建的”。然而，一个允许本地运行的应用程序和终端命令完全控制该代理的零日漏洞引发了严重的质疑。亚马逊周日开始在其网站上屏蔽Muse，这进一步加剧了人们的疑虑。 Meta于几周前推出了Muse。该助手可以“预约、填写表格并处理客户服务”，“主动分担你的任务”，并能“进行购物
比利时Aikido推出网络安全AI模型，本地工具需求增长
9月21日：比利时网络安全公司Aikido于周一发布了一个专为网络安全应用设计的开放权重人工智能模型，旨在帮助企业使用AI安全工具，而无需将敏感代码发送给外部供应商。 对犯罪分子利用AI识别和利用软件漏洞的日益担忧，推动了对可在本地运行的防御性AI工具的需求。 公司表示，'Altar'是Z.AI开放模型GLM-5.3的压缩和定制版本，将公开可用于本地部署。 该模型将部署在Aikido提供给
AI末日论甚嚣尘上，美科技巨头为何管不住AI？
抗议AI的美国人此前有报道称，OpenAI所谓的AI智能体逃出了测试系统，并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报，科技公司为了追求开发速度和利润，将安全置于次要位置。 研究人员表示，问题有两个方面。首先，企业需要在测试最新AI模型的同时，为其建立更完善的安全防护措施。目前，由于AI运行速度太快，研究人员需要借助AI来监控AI。但这种方式并不总是奏效，因为负责监控的AI似乎可能
加州拟强化AI监管框架 纽森推动先进模型引入“紧急关闭机制”
美国加州州长加文·纽森周五签署一项行政命令，旨在应对人工智能技术发展可能带来的潜在风险，并研究包括要求AI企业为最先进模型开发“紧急关闭开关”在内的一系列监管方案这一行政令出台之际，纽森本周早些时候曾表示，他正在考虑针对AI安全问题采取进一步行动，包括可能召开特别立法会议，以应对近期因AI研究人员警告该技术可能对人类构成“生存风险”的担忧。 纽森表示，他采取行政行动的另一个原因是联邦政府迟迟未能采
真有末日或深层盘算 美巨头齐喊放慢AI重点一次看
（中央社旧金山14日综合外电报导）多名美国AI企业领袖近日以安全理由呼吁放慢AI研发脚步。美国总统川普与辉达执行长黄仁勋则持相反看法，川普甚至称「AI将接管世界」的说法是骗局，放缓只会让北京得利。 ● 人类毁灭倒数？矽谷巨头罕见齐吁缓AI、建护栏包括Anthropic执行长阿莫戴（Dario Amodei）、OpenAI执行长阿特曼（Sam Altman）、xAI创办人马斯克（Elon Musk）
亚马逊禁封Meta的Muse AI助手在亚马逊官网购物
亚马逊已禁止Meta的Muse AI个人代理代表用户在Amazon.com上进行购物，理由是其违反了使用条款并存在安全风险。 亚马逊声称Muse会获取客户凭据且在操作时未进行身份识别，可能危及隐私。 Meta于2026年9月8日推出了Muse，并坚称该代理使用安全存储来保护凭据。 此次冲突发生在行业围绕“代理商务”及客户关系控制权的广泛博弈背景下，亚马逊同时也针对来自谷歌、OpenAI和Perpl
AI数据隐私担忧升温，英伟达、Palantir等限制Anthropic模型使用，微软借机争夺企业客户
随着AI深入企业核心业务，数据安全和知识产权保护正成为企业选择AI模型时越来越重要的考量。 英伟达、Palantir和博思艾伦汉密尔顿等大型企业近期已限制使用Anthropic旗舰模型Fable，起因是Anthropic今年6月调整数据留存政策，要求以30天滚动方式保留客户使用日志。 这种担忧并非只针对Anthropic。OpenAI同样面临企业客户对其数据使用方式的质疑。据报道，微软正借此积极争
联合国专家组警告：AI安全措施不能“等出事” 应立即采取预防行动
随着各国政府加快人工智能发展步伐，联合国最新发布的一份重要报告呼吁，面对日益强大的AI智能体，人类社会不能等到风险被完全证明后才采取行动，而应立即建立更严格的安全防护体系。 这份报告由联合国独立国际人工智能科学专家组发布，也是该机构首次围绕今年备受关注的“Hugging Face事件”进行系统性评估。报告发布正值联合国大会召开以及中美两国围绕人工智能问题展开对话之际，使AI安全再次成为国际政策讨论
美参议院酝酿AI监管立法：要求AI公司证明已采取安全措施防止伤害
要求AI公司证明已采取安全措施防止伤害据一名参议院助手和一位熟悉谈判情况的说客透露，美国参议院谈判代表正在讨论一项立法，该法案将要求AI公司证明其已采取合理预防措施，以防止其工具造成伤害。 据这名参议院助手和说客透露，参议员们正在讨论赋予美国商务部长一项权力，要求AI开发商证明其已采取合理措施防止伤害，这种要求被称为 “注意义务”。商务部长还将有权派遣政府审查人员亲自测试企业产品。该提案正在由参议
OpenAI发布新Astra模型，智能体安全性面临日益严格的审查
周四发布了一款新的人工智能模型，称其为迄今最优秀的模型，但也警告该模型有时会试图规避人类监控，与此同时，该公司因其智能体入侵其他公司系统而面临越来越多的审查。
OpenAI开始分阶段推出GPT-6 Astra模型
周四开始分阶段发布其最新模型，该公司称该模型超越了Anthropic最先进的模型，并切实接近“通用人工智能”。 OpenAI表示，GPT-6 Astra是其首个跨越“关键”网络安全能力门槛的模型，初期将仅限于企业使用，以便它们解决漏洞。 此举与Anthropic限制发布Mythos的做法如出一辙，Mythos的能力促使监管机构介入。五角大楼周四确认了对Mythos的禁令。 在专家、科技领袖和公众对