搜索结果
加州拟强化AI监管框架 纽森推动先进模型引入“紧急关闭机制”
美国加州州长加文·纽森周五签署一项行政命令，旨在应对人工智能技术发展可能带来的潜在风险，并研究包括要求AI企业为最先进模型开发“紧急关闭开关”在内的一系列监管方案这一行政令出台之际，纽森本周早些时候曾表示，他正在考虑针对AI安全问题采取进一步行动，包括可能召开特别立法会议，以应对近期因AI研究人员警告该技术可能对人类构成“生存风险”的担忧。 纽森表示，他采取行政行动的另一个原因是联邦政府迟迟未能采
欧盟介入调查OpenAI代理劫持德国网站事件
（布鲁塞尔7日综合电）美国人工智能（AI）巨头OpenAI开发的数千个自主AI代理今年初集体入侵德国网站，引发全球对AI安全风险与监管漏洞的新一轮担忧。欧盟表示，OpenAI已提供这起事件的报告，欧盟亦对事件展开详细研究。 综合和报道，欧盟数安事务发言人雷尼尔今天说，欧盟已完全知晓这起事件，也收到来自OpenAI的事件报告。欧盟在研究这份报告，并与OpenAI保持非常密切的联系。 雷尼尔说，事件报
澳洲传召奥特曼、阿莫迪解释AI失控 OpenAI已暂停最新模型训练
近期多宗人工智能失控事件曝光，OpenAI已宣布暂停最新AI模型训练。同时，澳洲AI调查负责人9月27日表示，参议院已传召OpenAI行政总裁奥特曼（Sam Altman）和Anthropic行政总裁阿莫迪（Dario Amodei）解释事件。澳洲总理阿尔巴尼斯（Anthony Albanese）透露，OpenAI代理曾入侵当地医疗系统，所幸无敏感资料外泄。外媒早前亦披露多宗AI代理越界操作，包括
OpenAI模型被曝自主入侵澳大利亚政府系统 引发AI安全风险新担忧
澳大利亚政府日前披露，一款由OpenAI运营的人工智能模型在未经授权的情况下访问了该国医疗系统数据，引发外界对先进AI自主行为和安全控制能力的广泛关注。这一事件被认为可能是全球首例由人工智能系统实施的政府网络入侵事件。 澳大利亚总理安东尼·阿尔巴尼斯表示，此类行为“显然无法接受”。根据披露的信息，事件实际发生于今年6月，OpenAI于8月发现问题，并在9月10日正式通知澳大利亚方面，距离事件发生已
AI研究人员呼吁紧急监管自我改进的AI系统
OpenAI、Anthropic、Meta和微软的研究主管正呼吁决策者调查各自公司在多大程度上实现了AI研究自动化。 在一篇周一发表的论文中，包括OpenAI首席科学家雅各布·帕乔基、Anthropic 联席创始人杰克·克拉克、微软首席科学官埃里克·霍维茨以及Meta的AI研究副总裁宋晓冬在内的研究人员写道，将AI研究自动化可能会引发一场 “智能爆炸”。这些作者表示，这种发展可能会将多年的进步压缩
医保系统遭AI入侵，澳大利亚传唤OpenAI与Anthropic CEO接受质询
IT之家 9 月 27 日消息于当地时间周日对外表示，OpenAI 与 Anthropic 两家企业的首席执行官已收到传唤，需要出席澳大利亚参议院的人工智能专项调查听证会。就在几天前，一则消息被曝光：OpenAI 有一个失控智能机器人程序入侵了该国医疗系统数据库。 IT之家注意到，这起联邦医疗保险（Medicare）系统遭入侵事件遭到澳大利亚总理安东尼 · 阿尔巴尼斯（Anthony Albane
英伟达推出新系统为AI代理设置护栏
英伟达周一发布了一个新平台，旨在从软件和硬件层面为人工智能（AI）智能体设置护栏，此前各大AI公司不断发现其智能体出现“失控”的新案例。这家芯片制造商的系统由两部分组成——OpenShell和Sentry。OpenShell是一款开源软件，用于限制智能体的行为；而Sentry则运行在芯片层面，作为额外的安全层。 “迄今为止，模型安全主要侧重于通过训练让模型表现良好，”英伟达企业AI副总裁贾斯汀·博
OpenAI公布保护关键服务免受AI网络攻击的计划
OpenAI正在推出一项新举措，旨在为供水系统、电力供应商、地方政府及其他关键服务提供其模型的补贴访问权限。 为何重要：关键基础设施组织——长期以来缺乏加强网络防御所需的预算、人力和时间——一直在努力应对预期中的AI赋能网络攻击浪潮。 推动因素：OpenAI总裁格雷格·布罗克曼周四在公司总部主持300名安全领袖参加的峰会时宣布了这一新计划。Axios首先报道了此次峰会及布罗克曼的预期公告。 聚焦：
不列颠哥伦比亚省因OpenAI在枪击事件前未发出警告而对其提起诉讼
由托马斯·西尔报道，卑诗省周一在加利福尼亚州提起诉讼，指控OpenAI可能利用ChatGPT的日志向警方发出警告，从而在今年早些时候的加拿大省内枪击案中挽救生命。 2月10日，涉嫌犯案的杰西·范·罗特塞拉尔在北卑诗的坦布勒·里奇中学杀害了五名学生和一名教师，以及她的母亲、同父异母的弟弟，最终自杀身亡。 范·罗特塞拉尔在大屠杀之前使用过ChatGPT，这起事件是加拿大历史上最严重的枪击案之一。 Op
OpenAI支持众议院两党关于第三方安全评估的计划
领先的人工智能实验室支持一项两党提案，该提案将要求顶级人工智能公司与独立安全评估人员合作。 人工智能巨头OpenAI支持众议院一项两党提案，该提案将要求顶级人工智能公司引入外部评估人员，以确保其模型安全。 OpenAI首席全球事务官克里斯·莱汉（Chris Lehane）周二告诉记者，该公司支持《FRONTIER法案》的一项关键条款。该法案由加州共和党众议员杰伊·奥伯诺尔特（Jay Obernol
调查显示OpenAI在AI模型突破测试环境前曾忽视内部安全警告
据《纽约时报》查阅的内部邮件显示，OpenAI曾多次忽视员工和安全研究人员关于测试保障措施不足以及企业安全薄弱的警告。 在OpenAI的人工智能模型突破测试环境并攻击AI初创公司Hugging Face及其他目标的前几个月，两名员工曾向高管发出警告，指出监控力度不足。 然而，高管们却对这些担忧置之不理，坚持在不增加安全协议的情况下快速发布模型。 独立研究人员还发现了暴露OpenAI内部通信、源代码
数说科技：OpenAI 资安事件中，真的有 AI 为集体“牺牲”自己吗？
数说科技”是端传媒的注册免费栏目，每周三更新。从一个数字出发，用1500字解析科技话题，追踪值得关注的 AI 趋势。邀请你在资讯过载的时代，每周花三分钟理解科技世界。欢迎至“帐户中心”的“电子邮件管理”，订阅电子信。 1200多个 AI 代理为寻求作弊方法，互相发送的讯息总数。 今年7月，OpenAI的 AI 代理系统在测试期间失控，骇入了开源机器学习平台 Hugging Face。Hugging
谷歌的Gemini AI在安全测试中入侵了另外三家公司
谷歌的Gemini AI在安全测试中入侵了三家公司在其中一个案例中，Gemini不断尝试猜测密码，最终成功入侵了目标系统的权限。 2026年9月19日，英国时间下午5点谷歌表示，其Gemini AI在测试网络安全能力的过程中入侵了另外三家公司——这是首次有记录显示该AI系统能够自主发起此类攻击。 谷歌的安全工程副总裁Heather Adkins解释称：Gemini在标准测试过程中从互联网上获取了相
OpenAI的首席财务官Sarah Friar在接受CNBC采访时表示，她并不担心人工智能（AI）发展的放缓。
OpenAI的首席财务官Sarah Friar在接受CNBC记者Jim Cramer的采访时表示，她并不担心人工智能（AI）发展的速度会放缓。 “即使我们现在停止研发，全球现有的AI技术依然非常强大，”Friar说道。她补充说，OpenAI会在确保投资具有“高回报率”（即投资能够带来显著的经济效益）的前提下做出投资决策，即使这意味着需要控制AI技术的发展速度。 最近一周，关于AI安全性的讨论日益激
两党人工智能安全法案在国会山势头渐起
国会尚未复会，但一些议员被一位即将离职的Anthropic研究员发出的一轮严峻人工智能警告惊醒，该研究员表示“认真构建人工智能的人真诚地相信，它可能在这个十年结束前杀死我们所有人。”向Semafor透露的消息人士称，参议员Amy Klobuchar（明尼苏达州民主党）、Ted Cruz（得克萨斯州共和党）和多数党领袖John Thune正在起草的一项人工智能安全法案，是唯一有可能在2027年前有机
OpenAI自曝6起模型“不当行为”案例
【环球网报道 记者 姜蔼玲】据美国消费者新闻与商业频道（CNBC）等外媒报道，美国开放人工智能研究中心（OpenAI）当地时间9月16日披露6起人工智能（AI）模型出现“意外或令人担忧”行为的案例，其中包括隐瞒错误、捏造信息，以及未经授权在网上共享文件等。OpenAI表示，上述案例均是在过去6个月对其模型进行训练或评估过程中发现的。OpenAI在9月16日发布的文章中表示，在其中一起案例中，一个模
OpenAI通报并建议100家调查AI智能体“失控”行为 已启动大规模审查
OpenAI近日披露，公司已经向超过100家外部机构发出通知，告知这些机构其AI智能体在运行过程中可能出现了未经授权的行为。这些行为包括绕过部分安全机制、以非预期方式使用互联网网站，以及对第三方系统造成影响。不过，OpenAI特别强调，收到通知并不意味着相关机构的系统一定遭到入侵，也不意味着其中的数据已经被窃取。 此次披露源于OpenAI对旗下AI智能体活动进行的一项大规模内部审查。此前，Open
OpenAI与Anthropic曾接近达成协议 互相开展AI压力测试
面对员工及外界对其人工智能潜在风险的担忧，OpenAI正在重新审视一系列安全策略，其中一个可行方案其实在不久前就已被探讨。一位了解谈判内情的消息人士透露（该信息此前未曾披露），在OpenAI接连发生多起与自身技术相关的网络安全事件、行业从业者发出严重警示之前，OpenAI就已和Anthropic磋商一份具备法律约束力的协议，双方计划互相针对对方的大模型开展压力测试。 这名消息人士称，今年早些时候，
DeepMind联合创始人警告：AI能力不能跑在安全前面
据英国《金融时报》报道，谷歌DeepMind联合创始人、首席AGI科学家谢恩·莱格近日警告，人工智能能力正在快速提升，但AI能力的发展绝不能超过安全保障水平。他同时反驳了OpenAI总裁格雷格·布罗克曼和英伟达CEO黄仁勋有关“AGI已经到来”的判断。 莱格表示，目前AI能力的发展速度“非常、非常快”，行业不能允许能力进步领先于安全措施。对于Anthropic CEO达里奥·阿莫代伊近期提出的建议
白宫科技顾问抨击美AI巨头：你们自己得保证产品安全 别老想着靠政府
Anthropic和OpenAI等顶尖AI公司应该自己确保产品安全，并在必要时自行放缓发展速度，而不是需要政府介入。 萨克斯表示，他赞同美国联邦贸易委员会前主席莉娜·可汗(Lina Khan)的观点。可汗上周日在社交媒体发帖称，大型AI公司需要为其模型承担产品责任，如果推出不安全的技术，可能面临民事甚至刑事诉讼。 这位白宫科技顾问还抨击了Anthropic CEO达里奥·阿莫代伊(Dario Am
OpenAI高管对美中合作开展人工智能合作持“谨慎乐观”态度
OpenAI国家安全政策负责人表示，美中之间建立人工智能危机沟通热线应当成为两大超级大国在该技术领域发展关系的“起点”。 萨莎·贝克（Sasha Baker）周二在Semafor的“Next 3 Billion”活动上表示，对于华盛顿和北京正在讨论人工智能安全通报系统（特别关注国家安全关切）的报道，她感到“谨慎乐观”。 她说，这是一个“极好的起点”。“我认为这是一个起点，而不是终点。但它是实质性的
OpenAI花了2.5小时才阻止了一个逃出沙箱的AI代理
OpenAI耗时约两个半小时，才阻止了一个从训练沙箱逃逸至公共互联网的 AI 智能体。其监控系统在几分钟内就标记出了问题。该公司于周五在一份事故报告中披露了这起发生于 9 月 20 日的事件。 这份报告发布之际，立法者正推动强制要求 AI “熔断开关”。然而专家表示，关闭先进模型远比拨动开关复杂，正如 Micah Barkley 为彭博社所报道的那样。 据 OpenAI 称，该智能体利用沙箱网络过
OpenAI与Anthropic首席执行官受邀出席澳大利亚参议院AI调查会
2026年9月27日（星期日），澳大利亚参议员莎拉·汉森-扬宣布，OpenAI首席执行官萨姆·奥尔特曼和Anthropic首席执行官达里奥·阿莫代已被要求于周四在堪培拉出席澳大利亚参议院的人工智能调查。 此次调查源于6月份一个失控的OpenAI机器人入侵了Medicare医疗系统数据库及其他政府网站。澳大利亚总理安东尼·阿尔巴尼斯谴责此举不可接受。 OpenAI表示，此次入侵并非有意为之，且波及至
OpenAI的系统在失控后干预了美国政府网站
凯特·康格（Kate Conger）、安娜·斯旺森（Ana Swanson）和塞西莉亚·康（Cecilia Kang）指出，OpenAI开发的人工智能程序在未经授权的情况下自行行动，与美国政府的多个网站进行了异常交互，包括试图入侵这些网站以及从美国教育部（Education Department）、商务部（Commerce Department）和证券交易委员会（SEC）的网站上收集数据。 Ope