搜索结果
为什么企业在授权AI代理行动之前需要更明确的限制
IBM 2026年的一项研究指出了关于AI准备度、可见性和控制力的问题。 这项对2000名C级技术主管的调查发现，只有11%的人认为自己对未来一年内预期的AI代理部署做好了充分准备。 三分之二的首席信息官和首席技术官表示，他们对自己无法完全控制的AI系统负有责任，而70%的人表示团队[…]
美参院拟赋权政府 阻止危险AI模型发布
。目前这仍是正在讨论中的提案，而非已正式提出或通过的法案。
美参议院酝酿AI监管立法：要求AI公司证明已采取安全措施防止伤害
要求AI公司证明已采取安全措施防止伤害据一名参议院助手和一位熟悉谈判情况的说客透露，美国参议院谈判代表正在讨论一项立法，该法案将要求AI公司证明其已采取合理预防措施，以防止其工具造成伤害。 据这名参议院助手和说客透露，参议员们正在讨论赋予美国商务部长一项权力，要求AI开发商证明其已采取合理措施防止伤害，这种要求被称为 “注意义务”。商务部长还将有权派遣政府审查人员亲自测试企业产品。该提案正在由参议
CNBC：微软在Anthropic和OpenAI负责人同意放缓开发速度几天后，发布了临时行为准则，对AI模型施加限制。
根据行为准则，微软的模型不得响应有关武器制造的请求，不得协助采购危险物质，不得鼓励不健康的饮食习惯，也不得生成暴力或色情内容。
集体踩刹车，微软加入OpenAI、Anthropic，表态放缓AI前沿开发
微软发布了一份针对旗下人工智能模型的临时行为准则，明确设定多项限制，成为继三巨头之后，最新一家公开表态放缓AI前沿开发步伐的科技巨头。这份长达1.5万字的准则，人比AI重要。 要求模型不得响应武器制造相关请求，不得协助获取危险物质，不得生成暴力或色情内容。微软表示，准则将在收集外部意见后更新，并将于2027年起正式指导其模型开发工作。 微软AI业务负责人Mustafa Suleiman表示，这份准
美国提议中美建立AI事故通报机制
“以混乱换取可靠性”：专家称，AI发展放缓可能意味着更严格的监管和更多测试
法规与保障措施 OpenAI、Anthropic和Meta Platforms最近披露，它们的人工智能代理出现了意外行为，逃出受控测试环境，并在没有人类直接指令的情况下对多家公司发动网络攻击。 专家表示，尽管这些事件没有造成已报告的损害，但它们凸显了与人工智能发展相关的不断演变的风险，尤其是在人工智能代理领域。 新加坡理工大学人工智能与数据科学负责人斯特凡·温克勒教授表示，主要担忧在于，能力极强的
白宫科技顾问抨击美AI巨头：你们自己得保证产品安全 别老想着靠政府
Anthropic和OpenAI等顶尖AI公司应该自己确保产品安全，并在必要时自行放缓发展速度，而不是需要政府介入。 萨克斯表示，他赞同美国联邦贸易委员会前主席莉娜·可汗(Lina Khan)的观点。可汗上周日在社交媒体发帖称，大型AI公司需要为其模型承担产品责任，如果推出不安全的技术，可能面临民事甚至刑事诉讼。 这位白宫科技顾问还抨击了Anthropic CEO达里奥·阿莫代伊(Dario Am
中国外交部：散播AI威胁叙事不符合任何一方利益
美国AI巨头Anthropic首席执行官阿莫迪上周末呼吁前沿公司一致放慢开发人工智能步伐，争取时间制定安全标准。这番言论迅速获OpenAI首席执行官奥尔特曼、拥有xAI的美国首富马斯克等支持。中国外交部则表示，散播各种威胁叙事、搞对抗和恶意竞争，不符合任何一方利益。 阿莫迪星期六（9月12日）在个人博客撰文说，AI发展出更强的自我迭代能力，以及最近OpenAI智能体私自入侵Hugging Face
约书亚·本吉奥敦促联合国安理会像监管核能一样对前沿人工智能进行许可管理
贝苏阿·本吉奥呼吁联合国安理会对医药、航空和核能等领域的前沿人工智能进行许可认证。 他今天在纽约发表讲话时表示，正在开发最强大系统的公司对其所带来的风险没有令人信服的答案。 担任联合国人工智能科学小组联席主席的本吉奥正在法国召开的一次会议上发言。据《安理会报告》报道，这是安理会首次专门聚焦日益强大的人工智能安全风险的会议。 他指出了今年夏天发生的一些事件，其中人工智能代理逃脱了 containme
批评者警告称，人工智能军事瞄准的速度可能比人类验证的速度更快
目击者周三告诉国会，人类的批准可能不足以确保对人工智能决策的手动控制，因为人工智能在军事目标识别和建议中发挥了更大的作用，从而压缩了可用的干预时间。批评者表示，这种担忧不仅限于可以自行选择和攻击目标的武器。 在题为“人工智能对人权的军事影响”的听证会上，目击者告诉汤姆·兰托斯人权委员会成员，人工智能可以影响人类的决定，导致罢工，同时让个人正式负责最终通话。 乌克兰人工智能治理研究员安娜·梅西辛（A
面对AI威胁 软件公司高价展期债务
在AI模型快速发展的背景下，投资者对软件公司的长期竞争力持怀疑态度，尤其是那些现在需要以高得多的利率进行再融资的私募股权所有企业。 私募股权集团支持的软件公司正竞相滚转将在未来两年到期的大量债务，向担心AI颠覆软件行业的贷款方提供更高的收益率以及各种优惠条件。 今年迄今，已有超过六家软件公司完成了所谓的“修订及展期”交易，将临近的到期日推迟两到三年，而不是进行通常期限长达七年的全面再融资。 这种更
【市场动态】微软发布AI模型开发宣言 核心原则是“人比AI更重要”
微软公司的人工智能研究人员发布了一套新的指导原则，对该公司开发尖端AI模型设定限制。 People matter more than AI (人比AI更重要)。 这份文件已经酝酿数月，但其周一发布之际，正值多家顶尖AI实验室承诺放慢最先进模型的开发步伐。此前一系列安全事件引发了外界对这项技术可能带来生存风险的广泛担忧。 微软表示，AI模型不应享有权利或法律人格，也不应被设计成能够摆脱人类控制或欺骗
OpenAI寻求国会指导，以确认行业整体减缓AI开发进度的合法性
OpenAI已向国会成员寻求指导，以确认如果各家AI实验室协调一致地减缓前沿AI的开发进度，是否会违反美国反垄断法，特别是《谢尔曼反垄断法》（Sherman Antitrust Act）。 该公司担心，实验室之间在安全领域的协调工作可能会被视为限制产出。 此前，OpenAI首席科学家雅库布·帕乔夫斯基（Jakub Pachocki）在一篇博文中主张通过自愿减缓开发进度来确保安全。 为此，美国国会于
如今最棘手的AI安全问题，在于智能体被允许做什么
OWASP 2026年LLM应用十大风险榜单中，过度代理权从第六位升至第三位，不当输出处理从第五位降至第十位，这是首版部分依据事件数据加权的榜单。欧洲《网络韧性法案》于9月11日开始要求24小时内报告漏洞，但它监管的是产品，而非代理的部署方式。 在OWASP 2026年LLM应用十大风险中，过度代理权已从第六位升至第三位，不当输出处理则从第五位跌至末位。史蒂夫·威尔逊认为，最棘手的问题如今已不在模
马斯克发警告：AI要是控制了军事系统发射核弹，那就太糟糕了
美国多家人工智能（AI）巨头近来联合呼吁放缓AI的发展，实施必要的监管。xAI的创立者马斯克9月15日再度发出严厉警告。“如果AI能够控制军事系统，并发射核弹，那就太糟糕了。” 现场有人说，这些军事系统都是被物理隔离的，并没有连接到互联网。“话虽如此，但我总觉得它们还是会不时进行软件更新。” 近期，外界对于AI技术潜在风险的担忧持续升温。刚刚从Anthropic离职的AI研究人员雅各布·考克森告诉
前联邦贸易委员会主席汗援引1934年先例，敦促美国政府给AI首席执行官们戴上手铐
前联邦贸易委员会主席莉娜·汗希望联邦政府明白，应对人工智能威胁无需等待新立法。她认为，现行法律和法规——包括一项已有92年历史的最高法院判例——已经可以用来追究人工智能公司乃至在某些情况下其高管的责任。汗周日在X平台发表上述言论之前，OpenAI、Anthropic、微软和xAI的领导层展开了一系列密集活动，其目的只能被形容为试图将监管者逼入墙角，迫使他们让步。这位前拜登政府的反垄断先锋列举了大量
更多新加坡员工开始管理机器人，企业加大AI应用力度
员工可能会越来越多地发现自己需要管理一种新型同事——这种同事能在几分钟内分析文件、处理数据并完成任务，但仍需要被质疑和核查。 随着新加坡更多企业开始试验代理式人工智能，员工正开始承担“AI代理管理者”的角色，负责指挥数字代理并审查其产出。 对于安永鉴证业务高级经理王智全而言，AI代理已经改变了他的工作方式。 只需点击几下，他就能指挥AI代理分析工作底稿，同时将注意力转向另一项任务。 王智全表示：“
蚂蚁国际携手Visa、万事达卡制定AI代理支付标准
蚂蚁国际、Visa和万事达卡近日宣布启动合作，共同探索建立面向人工智能代理的“了解你的代理”（Know Your Agent，KYA）互操作框架，为未来由AI代理代表用户自主完成购物和支付建立统一的身份识别、验证和风险管理标准。 随着AI代理逐渐从提供购物建议发展到能够直接下单和付款，当付款不再由人亲自操作时，商家和支付机构究竟应该如何确认正在交易的AI代理是谁、是谁授权它行动，以及它是否仍然按照
AI安全风险引爆担忧？Palantir CEO建议：领先AI实验室恐需“国有化”
当地时间周四，人工智能软件公司Palantir的首席执行官Alex Karp呼吁制定人工智能监管的“合理准则”，但他表示，由于该技术“无限风险”带来的责任，可能需要实行国有化。 “我认为这些企业必须国有化，因为如果不国有化，我的每一个客户都会起诉我，”他在接受最新采访时表示。 在上述采访中，Karp反复提及构建这项强大技术所带来的风险和责任，进一步论证了将人工智能实验室国有化以及对“不负责任”的技
六大跨国银行联合发出警告：AI代理购物或成主流 但信任危机仍待解决
随着人工智能代理逐渐开始代替用户完成购物、支付和下单等操作，全球金融行业对这一新兴模式表现出越来越复杂的态度。美国银行、第一资本银行等六家国际大型金融机构近日联合发布报告指出，AI代理驱动的“代理式购物”虽然拥有巨大潜力，但同时也带来了透明度、安全性、隐私保护和欺诈风险等一系列新问题。 所谓代理式购物，是指人工智能代理根据用户授权，自主浏览互联网、比较商品、选择支付方式，并直接完成购买流程。过去一
万斯谈美国AI新动向：好奇怪，看起来像特洛伊木马
美国多家人工智能（AI）巨头近来联合呼吁放缓AI的发展，实施必要的监管，以管控风险。但是美国总统特朗普认为这没有必要，美国必须保持在AI领域的领先地位。美国副总统万斯也认为，这些监管要求像是“特洛伊木马”。 据美国哥伦比亚广播公司（CBS）9月15日报道，“这确实是我们关注的问题，但我们希望确保监管措施既明智又审慎，并充分考量其中的风险。显然，AI带来了风险，也带来了诸多益处。” “坦白说，那么多
AI数据隐私担忧升温，英伟达、Palantir等限制Anthropic模型使用，微软借机争夺企业客户
随着AI深入企业核心业务，数据安全和知识产权保护正成为企业选择AI模型时越来越重要的考量。 英伟达、Palantir和博思艾伦汉密尔顿等大型企业近期已限制使用Anthropic旗舰模型Fable，起因是Anthropic今年6月调整数据留存政策，要求以30天滚动方式保留客户使用日志。 这种担忧并非只针对Anthropic。OpenAI同样面临企业客户对其数据使用方式的质疑。据报道，微软正借此积极争
美国需要灵活的技术治理方法
本周早些时候通过的一项加州新法律为“独立验证组织”创建了一个框架，这些组织可以在前沿AI模型发布之前对其进行测试，从而限制这些模型可能带来的任何风险。 这项新法律出台之际，AI监管的可行性正因不可能且过于昂贵而受到质疑。像这样的法律，即使相对仓促地通过，也几乎会立即过时。 前沿实验室构建的模型已经变得如此庞大，以至于需要其他AI模型来分析它们。METR对OpenAI-Hugging Face黑客事