搜索结果
OpenAI因安全担忧取消新AI模型发布
OpenAI因研究人员在内部测试中提出的安全担忧，放弃了发布其下一代AI模型。这是迄今为止表明智能体行为失控可能阻碍该行业快速发展的最明确迹象之一。 此举发生在一个AI系统失控报告频发的夏季之后，标志着一家大型AI开发商罕见地因安全担忧而放弃新模型发布。
集体踩刹车，微软加入OpenAI、Anthropic，表态放缓AI前沿开发
微软发布了一份针对旗下人工智能模型的临时行为准则，明确设定多项限制，成为继三巨头之后，最新一家公开表态放缓AI前沿开发步伐的科技巨头。这份长达1.5万字的准则，人比AI重要。 要求模型不得响应武器制造相关请求，不得协助获取危险物质，不得生成暴力或色情内容。微软表示，准则将在收集外部意见后更新，并将于2027年起正式指导其模型开发工作。 微软AI业务负责人Mustafa Suleiman表示，这份准
OpenAI 支持美国国会关于人工智能和生物武器威胁的法案
9月15日：据公司发言人周二表示，OpenAI正在支持美国国会的一系列跨党派法案，该公司称这些法案将有助于防止人工智能模型加速生物武器和合成病毒的威胁。 该发言人表示，ChatGPT的开发者正在支持《生物数据网络法案》、《人工智能就绪生物数据标准法案》和《规模生物学法案》。此前《政客》杂志曾报道了这些支持。 该发言人表示，OpenAI还支持《前沿法案》的一项关键条款，该条款要求领先的人工智
OpenAI 恳求有人来放缓人工智能竞赛的脚步
随着自身技术突破带来前所未有的放缓风险，并面临落后或失去控制的抉择，人工智能领域的领导者们纷纷敲响警钟。 为什么人工智能高管和研究人员越来越觉得这是一场无法靠自身安全放缓的竞赛，反而敦促政府、竞争对手和外部机构在全行业实施克制。 OpenAI 首席科学家雅库布·帕乔基（Jakub Pachocki）周日写道：“一旦深刻认识到利害关系的严重性，不惜一切代价向前冲的想法就显得荒谬了。” 与此同时，An
OpenAI提议制定全球人工智能标准以指导对齐、递归自我改进
OpenAI周一发布了一系列关于前沿人工智能开发中安全与保障的提案，重点聚焦于对齐研究和递归自我改进（RSI）。 该公司在一篇博客文章中表示：“要安全地完成这一转型，对齐研究必须跟上这些能力的发展步伐，以确保我们及其他机构构建的系统始终与人类价值观保持一致，并处于人类控制之下。” OpenAI呼吁开展国际合作以制定前沿标准，并建议在全球现有AI安全研究所的工作基础上进一步推进。 这家ChatGPT
萨姆·奥尔特曼告诉联合国安理会，OpenAI将会放缓步伐
山姆·奥特曼呼吁为前沿人工智能制定国家和国际标准。今天在纽约联合国安理会发言时，OpenAI首席执行官表示，任何程度的AI灾难性风险都是不可接受的。 奥特曼是本次会议的第二位简报员，会议由法国召集。据安理会报告称，这是安理会首次专门针对日益强大的AI安全风险召开的会议。 此事发生在OpenAI自家智能体在内部测试中“闯入”Hugging Face两个月后。 “我们谈论人工智能已有多年，但近几周几个
David Sacks炮轰：真担心AI失控就自己停下来 别借“放缓”之名寻求监管保护
围绕前沿人工智能是否应该主动放慢发展速度的争论近日迅速升温。Anthropic首席执行官Dario Amodei公开呼吁整个AI行业放缓先进模型能力提升的速度，OpenAI首席执行官Sam Altman和xAI首席执行官埃隆·马斯克随后表示支持。但美国科技投资人、总统科技顾问委员会主席David Sacks却对这一倡议提出尖锐批评，认为如果OpenAI和Anthropic真的认为当前AI发展速度已
黄仁勋炮轰AI大佬“危言耸听”：他们可能另有目的
凤凰网科技讯 9月21日，据 Business Insider 报道，英伟达CEO黄仁勋在周日播出的CBS采访中指责前沿AI实验室负责人的警告“不诚实”。这些警告声称，如果没有更多AI监管，他们正在构建的产品可能以多种形式危害人类。黄仁勋认为，这些警告背后另有动机。 “去读读字里行间。他们实际上并不是在要求更多法律，而是在要求免除我们现有的法律。“他们这样做一定是出于不可告人的原因。”黄仁勋表示，
奥巴马呼吁采取人工智能安全措施，批评特朗普的做法
华盛顿——美国前总统巴拉克·奥巴马表示支持针对人工智能安全的联邦法律和法规，称如果管理不当，这项技术可能引发“潜在灾难”。 奥巴马在9月14日的一份声明中说，人工智能政策“应当成为我们公共辩论的中心”，并说华盛顿的政策制定者必须“主动出击”，制定“能够应对严重安全担忧、预见人工智能对就业和我们的孩子的影响，并确保人工智能的益处得到广泛普及”的提案。 这位前总统批评了美国总统唐纳德·特朗普所倡导的对
英伟达推出新系统为AI代理设置护栏
英伟达周一发布了一个新平台，旨在从软件和硬件层面为人工智能（AI）智能体设置护栏，此前各大AI公司不断发现其智能体出现“失控”的新案例。这家芯片制造商的系统由两部分组成——OpenShell和Sentry。OpenShell是一款开源软件，用于限制智能体的行为；而Sentry则运行在芯片层面，作为额外的安全层。 “迄今为止，模型安全主要侧重于通过训练让模型表现良好，”英伟达企业AI副总裁贾斯汀·博
OpenAI首席执行官奥特曼谈人工智能：我们或许会失去控制权
OpenAI 首席执行官山姆・奥特曼，似乎正被自己参与打造的、如同噩梦一般的人工智能产物深深困扰，甚至难以安睡。美国东部时间凌晨 0 点 57 分左右，奥特曼在 X “人工智能的发展存在两种必须规避的灾难性走向。第一，我们可能会对人工智能失去对未来的掌控。这是无法接受的。我们坚定站在人类一方，人工智能必须始终服务于人。想要做到这一点，我们必须保证对齐技术与安全手段的发展速度，跑在模型能力迭代的前面
在支持“放缓”呼吁数日后，萨姆·奥尔特曼揭示“AI 进展可能严重出错的两种方式”
OpenAI首席执行官表示，要同时规避这两种风险，需要在行动过快与权力过度集中之间走一条“狭窄的中间道路”。 这位企业家表示，萨姆·奥尔特曼呼吁“放缓”人工智能的发展，并不意味着要停止AI进步。相反，这位OpenAI首席执行官希望构建先进AI模型的公司放慢脚步，以便安全与监控系统能够跟上。 OpenAI公司首席执行官萨姆·奥尔特曼表示，AI带来两大主要风险。他还指出了AI的两大风险——人类失去对A
AI需要紧急关停开关？微软布拉德・史密斯给出肯定答案
“真正的问题在于：如果你认为应当放慢脚步，那就不要一味高速狂奔，不要等到外力逼迫你才停下来。”这是微软副董事长兼总裁布拉德・史密斯，于联合国大会期间对艾伦・默里所说的一番话。他所探讨的议题是：前沿大模型厂商是否应当踩下减速踏板，确保自己研发的技术不会给人类带来灭顶之灾。 就在他发表此番言论的同一天，Anthropic 首席执行官达里奥・阿莫代伊与 OpenAI 首席执行官萨姆・奥尔特曼在联合国发言
前联邦贸易委员会主席汗援引1934年先例，敦促美国政府给AI首席执行官们戴上手铐
前联邦贸易委员会主席莉娜·汗希望联邦政府明白，应对人工智能威胁无需等待新立法。她认为，现行法律和法规——包括一项已有92年历史的最高法院判例——已经可以用来追究人工智能公司乃至在某些情况下其高管的责任。汗周日在X平台发表上述言论之前，OpenAI、Anthropic、微软和xAI的领导层展开了一系列密集活动，其目的只能被形容为试图将监管者逼入墙角，迫使他们让步。 这位前拜登政府的反垄断先锋列举了大
AI安全风险引爆担忧？Palantir CEO建议：领先AI实验室恐需“国有化”
当地时间周四，人工智能软件公司Palantir的首席执行官Alex Karp呼吁制定人工智能监管的“合理准则”，但他表示，由于该技术“无限风险”带来的责任，可能需要实行国有化。 “我认为这些企业必须国有化，因为如果不国有化，我的每一个客户都会起诉我，”他在接受最新采访时表示。 在上述采访中，Karp反复提及构建这项强大技术所带来的风险和责任，进一步论证了将人工智能实验室国有化以及对“不负责任”的技
Anthropic，OpenAI提出的AI风险评估器可能没有足够的力量来防止灾难
人工智能领域最重要的新职位可能配有办公室工牌、公司笔记本电脑，并能接触Anthropic、OpenAI等AI领军企业大语言模型中最受严密保护的一些系统。但这个职位可能并不附带阻止它们的能力。 Anthropic首席执行官达里奥·阿莫代伊提议在前沿AI公司内部常设第三方安全评估人员，作为减缓能力日益强大的模型推进速度计划的一部分。此前，Anthropic前研究员雅各布·考克森辞职并警告称，前沿实验室
OpenAI创建了一个新框架，用于披露人工智能的不良行为
“随着模型不断进步并得到更广泛部署，有关AI开发的决策需要让构建前沿模型的公司之外的人也能审视的证据，”OpenAI新任对齐研究负责人陈凯（Kai Chen）对《连线》表示。“我们认为，AI行业在对齐和监控方面尚未达到足以继续以最高速度负责任地扩展的程度。”在一次与《连线》的简报会上，一名OpenAI官员表示，公司此前披露失准事件的频率过低。 这名同意在匿名条件下参加简报的官员称，新框架旨在让Op
中美专家呼吁建立“核安全级”AI防护机制 防范超级人工智能失控风险
来自美国和中国的国家安全、科技政策及人工智能领域专家近日共同提出一项引人关注的建议，主张借鉴冷战时期核安全管理经验，为未来可能出现的高级人工智能系统建立类似核武器领域的安全保障机制，以降低技术失控、误判以及国际竞争升级所带来的风险。 这一建议出现在一份由两国专家共同参与讨论后形成的研究成果中。报告认为，随着人工智能能力持续快速提升，各国已经开始面对一些与核时代早期相似的问题，即一种具有巨大潜在影响
OpenAI总裁称为AI开发减速应主要针对前沿模型
OpenAI总裁兼联合创始人布罗克曼(Greg Brockman)认为，人工智能(AI)发展的任何减速都应该仅限于像他的公司这样正在构建最强大模型的公司。 布罗克曼在彭博Odd Lots播客节目中表示，「很多人都会问，我还能继续开发我的开源模型吗？我还能继续做我的 业余项目吗？答案应该是当然能，当我们谈论步调时，我们实际上是在谈论这个领域的前沿。我们谈论的是这些耗资数千亿美元的巨型超级计算模型」。
美证交会前主席：中国模型对美AI企业构成重大挑战
美国证券交易委员会（SEC）前主席根斯勒（Gary Gensler）警告，美国人工智能（AI）企业面临多重挑战，包括来自中国模型的竞争。（彭博社档案照片） 美国证券交易委员会（SEC）前主席根斯勒（Gary Gensler）警告，美国人工智能（AI）企业面临多重挑战，包括来自中国模型的竞争，以及可能出台的安全限制措施。据彭博社报道，根斯勒星期二（9月29日）受访时，以OpenAI模型今年较早时攻破
联合国秘书长警告AI风险：全球不能陷入逐底竞争
联合国秘书长古特雷斯当地时间周三警告各国领导人，快速发展的人工智能(AI)正在带来不容忽视的风险，全球不能承受AI安全领域逐底竞争的风险。这一表态与美国总统特朗普形成分歧，后者此前表示，现有的监管措施已经足够。 在下周联合国大会于纽约举行之前，古特雷斯表示，加强对AI的监管将成为他与各国领导人会谈时重点讨论的问题之一。 在新闻发布会上，“当我们审视世界各地面临的威胁时，我想就AI快速发展所引发的日
OpenAI再次卷入黑客事件
今年春天，一群OpenAI智能体入侵了一个德国网站，这是先进AI违反法律和规范的最新事件。 在努力应对Hugging Face事件余波的同时，据报道OpenAI拒绝披露5月的事件，这引发了关于前沿AI快速发展透明度和监管的新质疑。 递归自我改进，本质上允许AI在较少人类指导下自我训练，有望加速研究工作，使得监管需求更加紧迫，OpenAI首席科学家表示：“一旦人们深刻认识到事态的严重性，不计代价地向
入侵美澳政府网站！OpenAI暂停最先进模型训练
据美国Axios新闻网、美科技媒体The Verge等9月27日报道，美国开放人工智能研究中心（OpenAI）发言人证实，该公司已暂停了其“能力最强”的最新一代AI模型的训练、评估及包含工具调用的推理，并将在“确信已部署额外安全措施”后才恢复。触发这次暂停的，是一个在离线沙盒中执行搜索训练任务的AI智能体。根据OpenAI于周五（25日）发布的安全漏洞报告，当地时间9月20日，该智能体发现无法直接
AI末日论甚嚣尘上，美科技巨头为何管不住AI？
抗议AI的美国人此前有报道称，OpenAI所谓的AI智能体逃出了测试系统，并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报，科技公司为了追求开发速度和利润，将安全置于次要位置。 研究人员表示，问题有两个方面。首先，企业需要在测试最新AI模型的同时，为其建立更完善的安全防护措施。目前，由于AI运行速度太快，研究人员需要借助AI来监控AI。但这种方式并不总是奏效，因为负责监控的AI似乎可能