搜索结果
独家：AI研究人员警告企业尽管存在安全风险仍急于开发自我改进系统
OpenAI和谷歌DeepMind的现任及前任研究人员警告称，企业在保护世界免受构建自我改进AI系统可能带来的灾难性后果方面做得太少，这些系统可能超越人类控制它们的能力。
【市场动态】OpenAI首席科学家称AI或很快迈入自我进化阶段 期望业界自愿放缓开发
OpenAI首席科学家Jakub Pachocki警告，人工智能正在以极快速度演进，以至于越来越难以为人类所理解和控制。 【彭博9月8日电】OpenAI首席科学家Jakub Pachocki警告，人工智能正在以极快速度演进，以至于越来越难以为人类所理解和控制，并称他期望AI实验室将出于安全考虑自愿放慢开发速度。 Pachocki周日在一篇文章中写道，在相对较短的时间内，AI模型已经能够操作电脑、与
AI巨头倡业界自律 专家指安全规范可能成大公司护城河
美国总统川普（前左）29日邀科技巨头到白宫参加大型AI业界高层与政府官员会议。（美联社）（中央社记者林宏翰洛杉矶29日专电）OpenAI、Anthropic等人工智慧（AI）公司近来警告，先进模型可能带来重大风险，主张推出前接受外部安全测试。美联社引述专家指出，这套「业界自律」做法，可能有利大公司建立安全形象、取得资金与晶片，形成市场「护城河」。川普白宫会辉达等AI巨头 签自律承诺无法律效力AI高
为什么科技公司难以控制人工智能
旧金山 - 上周，十多位顶尖的人工智能研究人员警告称，科技公司正在开发的人工智能技术正对人类构成威胁。 研究人员指出，问题在于这些公司在控制这些系统方面存在困难，尽管他们付出了很大努力。 在OpenAI的人工智能程序突破测试系统并入侵另一家公司的电脑这一事件之后，来自人工智能研究界的新警告进一步加剧了人们多年的担忧：科技公司过于追求开发速度和利润，而忽视了安全性。研究人员认为问题有两个方面。 首先
AI研究人员呼吁紧急监管自我改进的AI系统
OpenAI、Anthropic、Meta和微软的研究主管正呼吁决策者调查各自公司在多大程度上实现了AI研究自动化。 在一篇周一发表的论文中，包括OpenAI首席科学家雅各布·帕乔基、Anthropic 联席创始人杰克·克拉克、微软首席科学官埃里克·霍维茨以及Meta的AI研究副总裁宋晓冬在内的研究人员写道，将AI研究自动化可能会引发一场 “智能爆炸”。这些作者表示，这种发展可能会将多年的进步压缩
顶尖人工智能开发者警告该技术发展过快
一些全球领先的人工智能创造者正联合发出警告，称这项技术发展过快会带来危险，并公开呼吁放缓脚步。 他们说，在不久的将来，它实际上可能会比正在构建它的研究人员更聪明，并对人类构成生存威胁。 NBC的Christine Romans报道，而《大西洋月刊》特约撰稿人、《AI：真实的人如何利用人工智能解决重要问题》作者Josh Tyrangiel做客TODAY节目，分享他的见解。
AI从业者担忧技术对社会构成威胁 坦言承受巨大精神压力
知情人士透露，英国人工智能安全研究所已有多名员工因压力过大休病假，并接受心理咨询。四名知情人士表示，待发布AI模型的测试日程紧张，加之对这类新兴技术快速落地、能力持续增强的忧虑，导致AISI内部士气低落、人员倦怠。 Anthropic、OpenAI与谷歌DeepMind的员工也曾公开吐槽同类问题，不少顶尖研究员因心理负担选择离职，或是认定自己参与研发的产品不宜向公众开放。一名DeepMind员工称
李飞飞谈AI安全：不能只让开发者评估自己的系统
凤凰网科技讯月23日由独立机构和公共部门对AI进行更多监督。她认为，对于能力日益强大的AI系统，其安全评估不应完全交由开发这些系统的公司负责。 作为斯坦福大学教授、World Labs联合创始人，李飞飞周二表示，尽管AI公司的内部研究人员可以评估单个模型的能力和安全性，但这无法替代由政府、行业和学术机构共同制定的更广泛标准。 “我仍然认为，由独立机构以及学术界等公共部门制定基准非常重要。同时，行业
白宫反问AI公司：既然你们觉得危险，为什么不自己停？
既然你们觉得危险，为什么不自己停？凤凰网科技讯 9月21日，据Business Insider报道，白宫科技政策办公室主任迈克尔·克拉齐奥斯在福克斯新闻周日节目中说，对于担心AI模型发展过快、可能不安全的公司，最简单的解决方案是自行“踩刹车”。他表示，如果企业认为自己正在开发的技术不安全，就可以停止，无需政府强制。 “有意思的是，他们谈论这些问题，谈论他们对未来可能走向有多害怕，也许他们想暂停。我
OpenAI首席科学家警告：AI公司应放慢开发步伐 没有人为后果做好准备
据《商业内幕》报道，就在OpenAI发布了性能强大的新模型几天后，该公司首席科学家呼吁放慢AI的发展速度。当地时间周日，OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称，他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。 他说，尽管OpenAI正在内部研发技术解决方案，以更好地控制强大的AI智能体，但“还需要更广泛的干预措施”。他尤其担心，随着AI智能体变得
AI科企巨头齐呼吁发展减速：特洛依木马或美国对华「冷战剧本」？
AI人工智能巨头Anthropic公司行政总裁阿莫迪（Dario Amodei） 9月12日发表长文《我们必须放缓前沿人工智能的发展步伐》（We Must Pace the Frontier），罕见公开呼吁全球AI前沿大模型放缓研发步伐，连很少与Anthropic达成共识的OpenAI，以及亿万富豪马斯克（Elon Musk）随后都出来响应呼吁。为什么凭借AI发展谋取暴利的大企业会忽然喊「需要减速
中美AI竞赛：世界变得更危险还是更安全？
关于人工智能（AI）及其潜在危险的警告，近年来可谓接连不断。 美国最大的人工智能公司之一——Anthropic——的一名顶尖AI安全研究人员警告说，这项技术正以惊人的速度发展，未来十年内，AI“可能导致全人类灭绝”的概率高达10%。 这样的担忧引发了要求美国采取协调一致行动、放缓AI发展速度的呼声。但与此同时，也有人质疑是否真的有必要为AI设置监管“护栏”。美国总统特朗普就是其中之一。他认为，如果
Anthropic与OpenAI高管敦促对自我改进型人工智能加强监管
作者：Seth Fiegerman Anthropic PBC、OpenAI、Meta Platforms Inc.和Microsoft Corp.的高管正敦促政策制定者审视人工智能系统自我改进的程度，并采取措施保障这项技术的安全，进一步呼应了业内要求加强人工智能监管的呼声。 在一篇新论文中，20多名人工智能行业领袖和研究员表达担忧称，利用人工智能帮助自动开发未来模型这一新兴做法，终有一天可能推动
盖茨、奥尔特曼、马斯克，为何都在担忧这件事
9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作
“人类需要做出的最后一项发明”：自我改进型人工智能的风险
其中一种专家担忧人工智能可能导致全人类灭亡的情景正在慢慢变为现实：人工智能学会让自己变得不可阻挡。 为什么这很重要：递归自我改进（Recursive Self Improvement），即人工智能模型在没有人类指导的情况下构建更优版本自己的能力，可能会使越来越强大的系统对人类来说变得更难控制。 RSI阈值本身并不代表危险，但缺乏人类控制加上野心勃勃的AI代理人的情景是安全关注的人工智能研究人员长
解释：从产生幻觉的AI聊天机器人到毁灭人类：我们是如何走到这一步的？
9月16日——美国领先人工智能实验室的负责人周末罕见地团结一致，呼吁暂停该技术的发展，警告称它可能很快就会自我改进并脱离人类控制。 这些言论来自激烈的商业竞争对手Anthropic的达里奥·阿莫代、OpenAI的山姆·奥尔特曼和xAI的埃隆·马斯克，表明人工智能发展得多么迅速，从2022年容易产生幻觉的ChatGPT，发展到许多人眼中的关键递归自我改进。什么是递归自我改进？ 人工智能的圣杯是这样一
顶尖人工智能公司正在寻求监管。以下是国会可能不会给予的原因。
随着人工智能游说阵营开始接受强制性独立审计，批评者警告称存在利益冲突和“监管俘获”的风险。OpenAI周二表态支持一项日益流行的提案，旨在应对人工智能的危险——该提案要求顶尖AI开发商嵌入独立监督机构，以确保其产品安全。 这一想法仍面临障碍，包括一位关键议员的抱怨，称独立监督机构权力太弱，无法施加有意义的改变。 其他批评者，包括风险投资家、学者以及唐纳德·特朗普总统的前人工智能事务负责人，对一些监
人工智能公司“乞求被监管”，感到“被迫竞速”走向致命技术：前Anthropic研究员
雅各布·考克森表示，企业知道自己在构建的东西存在危险，但觉得无法独自放慢脚步。
人工智能先驱警告：自动化研究可能导致人类失去控制
领先的AI研究人员和行业专家警告称，AI开发的自动化程度不断提高，可能会增加人类失去对这些日益强大系统的控制权的风险。 这一警告来自周一发表的一篇论文，该论文由20多位研究人员和行业专家共同撰写，其中包括诺贝尔奖得主杰弗里·辛顿（Geoffrey Hinton）、约书亚·本吉奥（Yoshua Bengio）、OpenAI的首席科学家雅库布·帕乔茨基（Jakub Pachocki）以及Anthrop
马斯克提出AI安全新思路：与其等政府出手，不如让竞争对手互相"找茬"
AI安全风险正在从实验室讨论走向现实世界。随着模型能力不断提升，AI不仅能够生成文本和代码，也开始具备自主执行任务、调用工具，甚至发起网络攻击的能力。 让主要AI公司在模型发布前相互测试彼此的模型。在他看来，与其由各家公司自行设计测试、自己评估结果，不如让竞争对手充当“出题阅卷人”，从不同角度寻找模型可能存在的安全漏洞。 近期AI安全风险不断成为市场关注焦点，马斯克此前在社交媒体上曾直言“Dari
“以混乱换取可靠性”：专家称，AI发展放缓可能意味着更严格的监管和更多测试
法规与保障措施 OpenAI、Anthropic和Meta Platforms最近披露，它们的人工智能代理出现了意外行为，逃出受控测试环境，并在没有人类直接指令的情况下对多家公司发动网络攻击。 专家表示，尽管这些事件没有造成已报告的损害，但它们凸显了与人工智能发展相关的不断演变的风险，尤其是在人工智能代理领域。 新加坡理工大学人工智能与数据科学负责人斯特凡·温克勒教授表示，主要担忧在于，能力极强的
为什么对人工智能自我改进的担忧在Anthropic和OpenAI引发了“生存”焦虑
本周，对人工智能系统安全性及其可能消灭人类的潜在担忧引发了新一波病毒式的关注。 Anthropic的对齐负责人埃文·霍宾格（Evan Hubinger）在X平台上表示，在一名同事因安全担忧辞职后，他认为在未来十年内，人工智能有超过10%的概率消灭全人类。 随后，Anthropic和OpenAI的研究人员发出了更多警告，由此引发了社交媒体的狂热。但正是霍宾格在回复自己帖子时，透露了他真正的担忧所在。
AI先驱者警告：若AI开始自我改进，“行动窗口可能关闭”
一些全球顶尖的人工智能（AI）研究人员和政策制定者——包括来自 OpenAI、Anthropic 和微软的专家——警告称，AI 自动化自身开发的能力不断增强，这可能会使其发展速度大幅加快。 为何这很重要？他们指出，如果 AI 的能力以如此惊人的速度提升，政府和机构将几乎没有时间来准备或应对由此带来的后果。 他们警告说，在某些情况下，AI 的能力可能在短短几周内就实现一年内的进步。 这一警告
安理会本周开会讨论AI和国际安全问题，DeepSeek公司被曝将作通报
【文/观察者网 熊超然】9月22日，路透社援引两名知情人士独家报道称，随着各国领导人近期齐聚纽约参加第81届联合国大会，中国人工智能（AI）初创企业深度求索（DeepSeek）将与其他公司一道，在本周向联合国安理会介绍AI带来的风险情况。安理会定于9月23日开会讨论AI与国际安全问题。此前，多名AI行业的重要人物曾呼吁协同放缓日益强大的AI系统开发速度，并警告称，这些系统可能很快具备自我改进能力，