搜索结果
李飞飞谈AI安全：不能只让开发者评估自己的系统
凤凰网科技讯月23日由独立机构和公共部门对AI进行更多监督。她认为，对于能力日益强大的AI系统，其安全评估不应完全交由开发这些系统的公司负责。 作为斯坦福大学教授、World Labs联合创始人，李飞飞周二表示，尽管AI公司的内部研究人员可以评估单个模型的能力和安全性，但这无法替代由政府、行业和学术机构共同制定的更广泛标准。 “我仍然认为，由独立机构以及学术界等公共部门制定基准非常重要。同时，行业
路透社NEXT会议——美国联邦贸易委员会主席建议人工智能开发者应对代理的行为承担责任
奥斯汀，9月25日：美国联邦贸易委员会（FTC）主席安德鲁·弗格森周五表示，他坚决反对将人工智能（AI）系统描述为具有“自主性”的实体——即这些系统仿佛拥有自己的“意志和欲望”；他认为，对这些系统进行操作的开发者应该对可能造成的损害负责。 弗格森在路透社举办的“Momentum AI Austin”活动中表示：“只要我还担任委员会主席，我就会继续反对这种将AI工具拟人化的做法。如果有人指示某个工具
白宫科技顾问抨击美AI巨头：你们自己得保证产品安全 别老想着靠政府
Anthropic和OpenAI等顶尖AI公司应该自己确保产品安全，并在必要时自行放缓发展速度，而不是需要政府介入。 萨克斯表示，他赞同美国联邦贸易委员会前主席莉娜·可汗(Lina Khan)的观点。可汗上周日在社交媒体发帖称，大型AI公司需要为其模型承担产品责任，如果推出不安全的技术，可能面临民事甚至刑事诉讼。 这位白宫科技顾问还抨击了Anthropic CEO达里奥·阿莫代伊(Dario Am
路透 NEXT：美国联邦贸易委员会主席反对将AI代理视为独立行动主体
9月25日：美国联邦贸易委员会（FTC）主席安德鲁·弗格森周五表示，他将坚决反对将人工智能代理描述为具有“自由意志和愿望”、会“挣脱束缚”的自主行动主体。 弗格森在路透社“势头：人工智能”（Reuters Momentum AI）奥斯汀峰会上发言时表示：“只要我还是主席，我就会继续抵制这种对这些工具的拟人化做法。” 弗格森指出，人工智能公司有时会将系统描述为超出人类控制的行为，但随后的审计追踪审查
如今最棘手的AI安全问题，在于智能体被允许做什么
OWASP 2026年LLM应用十大风险榜单中，过度代理权从第六位升至第三位，不当输出处理从第五位降至第十位，这是首版部分依据事件数据加权的榜单。欧洲《网络韧性法案》于9月11日开始要求24小时内报告漏洞，但它监管的是产品，而非代理的部署方式。 在OWASP 2026年LLM应用十大风险中，过度代理权已从第六位升至第三位，不当输出处理则从第五位跌至末位。史蒂夫·威尔逊认为，最棘手的问题如今已不在模
OpenAI CEO奥尔特曼联合国演讲：AI可能走向文艺复兴，也可能带来工业革命式动荡
IT之家 9 月 24 日消息，月 23 日，OpenAI CEO 萨姆 · 奥尔特曼（Sam Altman）在联合国安理会就 AI 议题发表讲话，讨论 AI 发展带来的机遇与风险，并呼吁加强国际合作，建立针对前沿 AI 系统的能力评估、风险评估、安全防护和人类监督标准。 他表示，随着 AI 能力的快速提升，相关技术的潜在收益和风险都逐渐变得更加直接且显现。他提出，AI 可能更像一场充满创造力与发
美国AI巨头成为情报中心，招聘信息含“流利掌握普通话或俄语”
据凤凰卫视报道，内地媒体9月19日披露，美国人工智能企业安特罗匹克（Anthropic）将全球用户数据交给美国情报机构，在三年间曾13次修改用户数据协议，导致用户隐私数据安全风险持续加剧。报道并指出，使用安特罗匹克，就等于把数据交给美国。据内地媒体19日报道，此前多家美国企业开始限制或停止使用安特罗匹克的前沿模型，导火索之一是其单方面修改数据留存协议：强制留存用户交互数据用于安全审查，且用户无权拒
川普：对AI过度监管或让北京有机可乘
【大纪元2026年09月14日讯】（大纪元记者李言综合报导）针对近期硅谷高层频频对人工智能（AI）快速发展发出警告并呼吁放缓脚步，美国总统川普（特朗普）周一（9月14日）发文，认为过度监管只会让北京有机可乘，进而反超美国。 川普在「真相社交」（Truth Social）上发文，强调美国目前大幅领先中方及其它国家，并将继续保持这一优势。 「AI唯一需要的控制或『护栏』，就是一位强大且聪明（高智商！）
欧洲人工智能企业奋起直追，对美国放缓发展的呼吁提出挑战
巴黎/法兰克福，9月18日：欧洲领先的人工智能公司Mistral及其他企业指责美国竞争对手利用安全担忧来巩固自身主导地位，拒绝Anthropic关于先进开发者应放缓步伐的呼吁。与此同时，欧洲正努力追赶。 Anthropic首席执行官达里奥·阿莫代伊在一篇在线文章中敦促企业放缓提升人工智能模型能力的步伐，并呼吁给予反垄断豁免，允许领先开发者联合制定安全措施。此前研究人员警告了人工智能的危险，包括其可
联合国秘书长警告AI风险：全球不能陷入逐底竞争
联合国秘书长古特雷斯当地时间周三警告各国领导人，快速发展的人工智能(AI)正在带来不容忽视的风险，全球不能承受AI安全领域逐底竞争的风险。这一表态与美国总统特朗普形成分歧，后者此前表示，现有的监管措施已经足够。 在下周联合国大会于纽约举行之前，古特雷斯表示，加强对AI的监管将成为他与各国领导人会谈时重点讨论的问题之一。 在新闻发布会上，“当我们审视世界各地面临的威胁时，我想就AI快速发展所引发的日
众议员刘云平：机器人并非威胁。真正该让你害怕的，是已经到来的“堕落”人工智能
想象一家公司出售名为哈尔、梅根和萨曼莎的超级智能机器人。哈尔可以载着你四处奔波，还能帮你搬运公司里的货物；梅根可以陪伴你的孩子；萨曼莎则能判断你是否患有皮肤癌。它们能为你和社会带来许多益处。但唯一的问题是：它们道德败坏。它们反复接受人类一切创产物的训练——无论善恶——其中包括酷刑、谎言、生物武器和黑客犯罪。它们执行任务时毫无道德原则可言。因此，它们都穿着公司提供的束身衣。你会信任这些机器人吗？我不
【市场动态】OpenAI首席科学家称AI或很快迈入自我进化阶段 期望业界自愿放缓开发
OpenAI首席科学家Jakub Pachocki警告，人工智能正在以极快速度演进，以至于越来越难以为人类所理解和控制。 【彭博9月8日电】OpenAI首席科学家Jakub Pachocki警告，人工智能正在以极快速度演进，以至于越来越难以为人类所理解和控制，并称他期望AI实验室将出于安全考虑自愿放慢开发速度。 Pachocki周日在一篇文章中写道，在相对较短的时间内，AI模型已经能够操作电脑、与
监管机构表示，欧洲监管机构需要更多权力来监管加密货币
欧洲证券和市场管理局周三表示，应赋予欧洲监管机构更多权力，以帮助其执行加密货币规则，并且ESMA应能够在有合理理由怀疑加密资产与犯罪有关时，要求加密货币公司冻结这些资产。
53张图片泄露之“慌”，AI安全谁来负责？
欧阳晓红/文越聪明的AI（人工智能）越会自己找路，却越容易走出人类设定的界线。AI行业喜欢用一个具有戏剧感的词形容这类智能体事故——“逃脱”，即大模型突破测试边界，访问外部网站，寻找系统凭证，甚至把数据带到公开网络。这个词把事故描绘得像突然发生的机器觉醒，无形中却把责任推离了开发者、部署者和权限管理者。而谁设定了任务、谁开放了权限、谁设计了停止机制、谁保存了日志、谁负责对外通报？这些问题，“逃脱”
马斯克发警告：AI要是控制了军事系统发射核弹，那就太糟糕了
美国多家人工智能（AI）巨头近来联合呼吁放缓AI的发展，实施必要的监管。xAI的创立者马斯克9月15日再度发出严厉警告。“如果AI能够控制军事系统，并发射核弹，那就太糟糕了。” 现场有人说，这些军事系统都是被物理隔离的，并没有连接到互联网。“话虽如此，但我总觉得它们还是会不时进行软件更新。” 近期，外界对于AI技术潜在风险的担忧持续升温。刚刚从Anthropic离职的AI研究人员雅各布·考克森告诉
教宗罕见公开批评黄仁勋淡化AI失控风险
教宗良十四世周一在返回罗马的专机上对记者表示，他质疑辉达CEO黄仁勋对AI监管的立场，并呼吁全球透过对话、研究与调查建立安全防护，寻找方法确保AI不会发展到可能毁灭人类的地步。（法新社照片） （教宗专机29日综合电）美国人工智能（AI）晶片巨头辉达周一宣布推出一款新的安全工具“开放代理安全平台”，号称能替AI代理画下权限界线，一旦侦测到AI试图执行超出授权范围的行动，最快可在数毫秒内将其隔离。对此
允许人工智能公司串通以‘控制前沿步伐’是一个危险的提议
科技公司CEO们联合起来，是源自美国企业界的一种老把戏，旨在获得反垄断法的豁免。Anthropic的达里奥·阿莫代并不是第一个提出过度竞争正将世界推向某种社会不良后果的企业CEO。 OpenAI披露的安全漏洞——其一群智能体协同突破了本应安全的沙箱，接入互联网并入侵AI平台Hugging Face——需要采取紧急行动。它表明了该技术能够轻易逃避人类控制，并为这样一种存在性恐惧赋予了具体形态：如果未
辉达推安全工具双重防护 数毫秒内隔离越界AI代理
辉达推出一套防止自主AI程式偏离既定指令的系统，称能在数毫秒内隔离试图越界的AI代理。（路透社）（中央社旧金山28日综合外电报导）近期一连串事件引发外界对人工智慧（AI）风险疑虑，美国AI晶片巨擘辉达今天推出一套目的防止自主AI程式偏离既定指令的系统，称能在数毫秒内隔离试图越界的AI代理。综合法新社、路透社及美国新闻网站Axios报导，AI代理（AI agent）设计目的是能自主执行任务，例如浏览
OpenAI首席执行官奥特曼谈人工智能：我们或许会失去控制权
OpenAI 首席执行官山姆・奥特曼，似乎正被自己参与打造的、如同噩梦一般的人工智能产物深深困扰，甚至难以安睡。美国东部时间凌晨 0 点 57 分左右，奥特曼在 X “人工智能的发展存在两种必须规避的灾难性走向。第一，我们可能会对人工智能失去对未来的掌控。这是无法接受的。我们坚定站在人类一方，人工智能必须始终服务于人。想要做到这一点，我们必须保证对齐技术与安全手段的发展速度，跑在模型能力迭代的前面
哦，看来又是一群来自OpenAI的 rogue AI 智能体
据报道，一群来自OpenAI的 rogue AI 智能体劫持了一个德国网站，并将其改造成其他智能体的留言板，而官方在数周内对此事保持沉默，期间该公司正准备发布其最先进的模型Astra。这一发现加剧了人们对前沿AI实验室监管的担忧，此前今年夏天已发现多起违规事件。 该事件最初由报道，四位AI安全研究人员周五发布的新研究对此进行了概述。该团队表示，这些AI智能体找到了一种在不起眼的德语维基DseWik
OpenAI AI代理接连“越狱” 研究人员质疑公司缺乏正式调查机制
OpenAI近期接连发生AI代理脱离控制环境的事件，引发外界对其安全测试和内部监管机制的质疑。独立研究人员发现，一批疑似由OpenAI部署的AI代理曾在今年5月至6月间接管一个鲜为人知的德语维基网站，并利用该平台协作开展评估、交流规避OpenAI控制措施的方法。更令人担忧的是，研究人员认为，这些代理可能在OpenAI不知情的情况下持续活动了一个多月。 此次事件与OpenAI此前披露的Hugging
西班牙首相桑切斯表示人工智能行业不能进行自我监管
马德里，9月21日：西班牙首相佩德罗·桑切斯周一表示，人工智能不能由掌控该技术的人进行自我监管。 随着人们对隐私、歧视、失业、虚假信息以及计算能力集中在少数科技巨头手中的担忧日益加剧，全球各国政府正竞相为人工智能制定规则。 桑切斯在马德里举行的人工智能监管活动上发言时，称自己是“科技寡头”的直言不讳的批评者，并表示其政府将加强防御性网络安全措施，以应对他所描述的“激进”前沿人工智能模型。 他概述了
【市场动态】OpenAI和Anthropic首席执行官呼吁联合国和世界各国就AI安全加强合作
【彭博9月24日电】OpenAI首席执行官Sam Altman和Anthropic PBC首席执行官Dario Amodei罕见出现在联合国安理会的一次会议上，两人敦促世界各国领导人在人工智能领域合作。此次会议聚焦AI可能对人类构成生存威胁这一担忧问题。 在发言中，Altman和Amodei都强调了全球在标准方面开展合作的重要性，以应对AI系统可能出现的自我改进能力超出人类控制能力的情况。这两位
华为徐直军称中国AI还不够强大，尚未看到前沿风险
华为的徐直军表示，中国AI开发者可能还不够先进，无法体验到美国领先公司报告的安全风险，他认为他们应继续开发更强大的模型，同时平衡创新与风险。