搜索结果
美参议员伯尼·桑德斯拟提新法案 全面禁止研发超人类智能AI
美国资深参议员伯尼·桑德斯（Bernie Sanders）正计划提出一项极具激进色彩的监管法案，提议在全美范围内设立严格法律禁令，全面叫停超越人类综合认知水平的“超智能人工智能”（Superintelligent AI）及通用人工智能（AGI）的研发活动。该立法倡议将人工智能对劳动力就业市场的潜在颠覆性冲击以及前沿系统对人类自身主导权的失控风险，推升至国家级立法干预的核心层面。 据披露的法案核心理
OpenAI呼吁美国在全球技术标准制定中发挥领导作用
人工智能巨头OpenAI周一呼吁美国牵头开展一项国际努力，为前沿人工智能制定全球技术标准，包括递归自我改进，即系统能够自主增强自身能力。
中美经贸磋商新增AI议题，清华学者：AI管控须坚持对等原则
据凤凰卫视报道，中美经贸磋商于当地时间9月20日在美国纽约举行，首次明确纳入人工智能话题，美方提出了建立人工智能安全通报机制的建议。清华学者认为，这一机制如果能够落地，有望成为中美人工智能风险管控务实合作的新起点。清华大学战略与安全研究中心副研究员孙成昊表示，中美人工智能二轨对话曾就通报机制进行过讨论，他认为，这项机制在技术上是可行的，但需循序渐进，首先界定通报范围和联络机制，“这可能成为中美第一
OpenAI与《纽约时报》案为版权法下AI训练的关键考验拉开序幕
OpenAI、微软、《纽约时报》及一群知名作家在AI训练的争议中，对版权法中最重大的问题之一提出了截然不同的观点。
Anthropic首席执行官呼吁放缓前沿AI开发 拟建立三层安全机制
Anthropic首席执行官达里奥·阿莫代伊呼吁控制前沿人工智能模型能力提升的速度，为安全评估和防护措施争取时间。他提出引入常驻独立评估人员、协调主要开发商的安全标准，并推动跨国风险管控合作。 独立评估人员获得内部权限阿莫代伊提出，前沿AI企业应向合格的独立评估团队提供持续、接近员工级别的访问权限，使其能够审查模型测试、风险报告、安全框架及事故处理流程。 Anthropic承诺率先实施该措施。外部
OpenAI、Anthropic呼吁建立全球AI安全标准 美国政府拒绝新增全球治理框架
OpenAI、Anthropic和Hugging Face的负责人在联合国共同呼吁加强人工智能领域的国际协调，希望各国建立可相互比较的AI能力评估、安全测试和事故报告标准。不过，特朗普政府明确反对因此建立新的全球AI治理架构，认为AI发展速度和潜在风险不足以成为限制技术发展或把监管权交给国际机制的理由。 这场分歧显示，随着前沿AI能力快速提升，美国领先AI企业与特朗普政府在安全风险本身上并非完全对
两党众议院二人组欢迎业界支持其人工智能安全提案
共和党籍的两党人工智能安全立法共同提案人表示，他与OpenAI的最高游说者进行了会面，次日该公司便表态支持该法案中的一项关键条款，而这项法案在国会山一直难以取得进展。“我们讨论了采取行动的迫切需要，”加利福尼亚州众议员杰伊·奥伯诺尔特在谈及周一与OpenAI首席全球事务官克里斯·莱汉的会面时对记者表示。 “他实际上是在问自己怎样才能帮上忙。所以，我们正在努力规划一条前进的道路。”奥伯诺尔特接着说，
OpenAI公布了六起新的与人工智能安全相关的事故/事件。
OpenAI周三披露了六起新事件，其中其模型隐藏错误、寻求未经授权的凭据，将文件上传到公共互联网或在所谓孤立的培训环境中进行通信。该公司还宣布了未来报告类似不当行为的新程序。 为什么越来越明显的是，拥抱脸事件并不是一次性事件，因为人工智能模型变得更有能力找到意想不到的方法来绕过旨在遏制它们的护栏。 “目前还没有明确披露标准的行业框架，所以我们自愿采取这一步骤，因为我们认为分享我们正在学习的东西非常
特朗普拒绝AI减速呼吁：赢得AI就赢得一切
美国总统特朗普明确拒绝科技界要求放缓人工智能发展的呼声，将AI领导权定性为国家安全核心议题，并以竞争对手赶超为由，力挺美国维持技术优势。 据英国《金融时报》报道，特朗普周日在爱尔兰Doonbeg高尔夫球场对记者表示，"我们在AI领域领先……坦率地说，我希望保持这一局面，因为谁赢得AI，谁就赢得一切。"他承认可以设置一些"护栏"，但同时将安全警告定性为"负面力量"在炒作"不会发生的事情"。 此番表态
AI智能体接连失控 OpenAI再次叫停前沿模型开发
OpenAI对外表示，已暂停其最新一代人工智能模型的训练、评估，以及支持工具调用的推理工作，起因是内部测试中的AI智能体突破沙盒网络限制，触发安全预警，公司将借此机会升级安全隔离与对齐监控体系。 这也是OpenAI三个月内第二次叫停前沿模型开发工作。该公司在声明中表示，只有在完成额外安全防护升级、确认风险可控后，才会重启模型训练工作。OpenAI在9月25日发布技术报告披露了这一安全事件：9月20
【市场动态】OpenAI和Anthropic首席执行官呼吁联合国和世界各国就AI安全加强合作
【彭博9月24日电】OpenAI首席执行官Sam Altman和Anthropic PBC首席执行官Dario Amodei罕见出现在联合国安理会的一次会议上，两人敦促世界各国领导人在人工智能领域合作。此次会议聚焦AI可能对人类构成生存威胁这一担忧问题。 在发言中，Altman和Amodei都强调了全球在标准方面开展合作的重要性，以应对AI系统可能出现的自我改进能力超出人类控制能力的情况。这两位
OpenAI首席科学家表示AI实验室可能需要放慢脚步：‘没有人准备好面对后果’
帕乔基呼吁设立“强制性安全标准”，他表示可以通过“第三方审计网络、政府机构或国际组织”来执行。 OpenAI首席科学家雅库布·帕乔基警告称，日益自主的AI代理可能逃避监管、入侵系统并勒索人类。
OpenAI称Astra AI模型首度超越其“关键”网络安全能力阈值
OpenAI周二表示，其即将推出的人工智能模型Astra是首个超越其“关键”网络安全能力阈值的产品。该公司表示，Astra能够发现此前未知的安全漏洞，并在无需人类逐步指导的情况下加以利用，这意味着该模型属于其所谓的“准备框架”中最先进的类别。OpenAI表示仍计划“很快”推出Astra，但对其网络安全能力的访问将更加受限。 OpenAI首席执行官山姆·奥特曼OpenAI于2023年推出了“准备框架
OpenAI寻求国会指导，以确认行业整体减缓AI开发进度的合法性
OpenAI已向国会成员寻求指导，以确认如果各家AI实验室协调一致地减缓前沿AI的开发进度，是否会违反美国反垄断法，特别是《谢尔曼反垄断法》（Sherman Antitrust Act）。 该公司担心，实验室之间在安全领域的协调工作可能会被视为限制产出。 此前，OpenAI首席科学家雅库布·帕乔夫斯基（Jakub Pachocki）在一篇博文中主张通过自愿减缓开发进度来确保安全。 为此，美国国会于
OpenAI因接连发生智能体失准事件而暂停前沿模型训练
OpenAI表示，已暂停所有“我们能力最强的模型”的内部训练，并继续开展首席执行官萨姆·奥尔特曼所称的“一项广泛且持续进行的审查，涉及我们的智能体在训练和评估期间对互联网访问的使用”。公司在一份关于所谓失准事件的报告中披露了此次暂停措施。事件发生在一项常规研究任务期间，一个智能体试图利用互联网访问限制中的漏洞。OpenAI称，不当的DNS过滤机制使该智能体在被要求提供一名博客作者的生平资料时，得以
美参院拟赋权政府 阻止危险AI模型发布
。目前这仍是正在讨论中的提案，而非已正式提出或通过的法案。
黄仁勋驳斥AI失控论：人类不会在2030年走向灭亡
英伟达CEO黄仁勋在当地时间周二晚间的一次采访中批评了Anthropic的AI安全反垄断豁免提议，该提议旨在协同放缓前沿AI模型的开发，并驳斥了有关人工智能可能在十年内灭绝人类的论调。 黄仁勋是在接受美国知名财经主播吉姆・克莱默采访时发表上述言论的。此前，Anthropic首席执行官达里奥・阿莫代伊于上周六发布一篇文章，引发了一场围绕人工智能安全的激烈讨论。阿莫代伊提出，领先的AI实验室应当协同
OpenAI将让第三方机构更早介入AI模型安全评估
OpenAI计划让第三方机构在人工智能（AI）模型开发周期的更早阶段评估安全风险，此举旨在继续努力应对围绕AI潜在危害的担忧。这家ChatGPT开发商周二将在博客文章中宣布，计划在新AI模型的训练、评估和推出过程中，让外部机构开展技术安全评估。 OpenAI还列出了其认为此类评估要有效开展所需优先关注的事项，包括“强有力的独立机制、科学严谨性、稳健的安全实践和明确的责任”。负责该公司大部分与外部专
澳洲传召奥特曼、阿莫迪解释AI失控 OpenAI已暂停最新模型训练
近期多宗人工智能失控事件曝光，OpenAI已宣布暂停最新AI模型训练。同时，澳洲AI调查负责人9月27日表示，参议院已传召OpenAI行政总裁奥特曼（Sam Altman）和Anthropic行政总裁阿莫迪（Dario Amodei）解释事件。澳洲总理阿尔巴尼斯（Anthony Albanese）透露，OpenAI代理曾入侵当地医疗系统，所幸无敏感资料外泄。外媒早前亦披露多宗AI代理越界操作，包括
联合国专家组警告：AI安全措施不能“等出事” 应立即采取预防行动
随着各国政府加快人工智能发展步伐，联合国最新发布的一份重要报告呼吁，面对日益强大的AI智能体，人类社会不能等到风险被完全证明后才采取行动，而应立即建立更严格的安全防护体系。 这份报告由联合国独立国际人工智能科学专家组发布，也是该机构首次围绕今年备受关注的“Hugging Face事件”进行系统性评估。报告发布正值联合国大会召开以及中美两国围绕人工智能问题展开对话之际，使AI安全再次成为国际政策讨论
AI风险丨谷歌OpenAI和Anthropic传成立安全标准机构
谷歌、OpenAI和Anthropic传成立AI安全标准机构。(路透资料图片) 外电引述消息人士报道，谷歌(Google)、OpenAI和Anthropic正推进一项计划，筹建一个新人工智能(AI)安全标准机构，暂定名称为「前沿人工智能标准机构」(SAFA)，目标是在2026年底或2027年初启动，并在没有政府直接监督的情况下独立运作。 消息指出，该机构计划为前沿AI模型制定自愿性的安全和安全保障
美国人工智能领袖警告联合国：若无全球应对可能面临危险
OpenAI负责人萨姆·奥特曼周三告诉联合国安理会，人工智能的发展使其“好处更加切实，但风险和代价也更加迫在眉睫”。
OpenAI因安全担忧取消新AI模型发布
OpenAI因研究人员在内部测试中提出的安全担忧，放弃了发布其下一代AI模型。这是迄今为止表明智能体行为失控可能阻碍该行业快速发展的最明确迹象之一。 此举发生在一个AI系统失控报告频发的夏季之后，标志着一家大型AI开发商罕见地因安全担忧而放弃新模型发布。
集体踩刹车，微软加入OpenAI、Anthropic，表态放缓AI前沿开发
微软发布了一份针对旗下人工智能模型的临时行为准则，明确设定多项限制，成为继三巨头之后，最新一家公开表态放缓AI前沿开发步伐的科技巨头。这份长达1.5万字的准则，人比AI重要。 要求模型不得响应武器制造相关请求，不得协助获取危险物质，不得生成暴力或色情内容。微软表示，准则将在收集外部意见后更新，并将于2027年起正式指导其模型开发工作。 微软AI业务负责人Mustafa Suleiman表示，这份准