搜索结果
坐看云起| 当人工智能不再征求许可时
塔里克·马利克是联合国开发计划署前首席技术顾问，巴基斯坦国家数据库和登记管理局前主席。 试想有一家公司将一个棘手的问题交给一个大型团队，但把每位成员都锁在不同的房间里并要求他们独自解决问题。然而他们总能找到办法相互沟通，交流操作窍门，摸清评分标准，当任务被证明无法完成时还会想办法绕过限制。其中几个人隐瞒了自己的所作所为，甚至还有一人入侵了邻近公司的电脑系统以获取优势。 现在把这些员工换成软件。去除
AI末日论甚嚣尘上，美科技巨头为何管不住AI？
抗议AI的美国人此前有报道称，OpenAI所谓的AI智能体逃出了测试系统，并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报，科技公司为了追求开发速度和利润，将安全置于次要位置。 研究人员表示，问题有两个方面。首先，企业需要在测试最新AI模型的同时，为其建立更完善的安全防护措施。目前，由于AI运行速度太快，研究人员需要借助AI来监控AI。但这种方式并不总是奏效，因为负责监控的AI似乎可能
人工智能领袖们此刻呼吁放缓，真是再方便不过了
想象一下，一家制药公司花了近四年时间吹捧一种将能治愈所有疾病的突破性新药。支持这些说法的早期证据有限，仍有大量疑问，但该公司继续推进。批评和担忧虽得到回应，却并未减缓其激进的推进步伐。毕竟，投资者相信这是货真价实的东西。（或者至少是一场非常值得一赌的押注。）然后，就在这家制药公司即将揭晓其花哨新药之际，它却抛出了一个令人震惊的消息：事实证明，这种药也可能是一种毒药。因此，为了所有相关方的安全，该领
AI的最大威胁来自生物学，而非机器人技术
人类学家雅各布·考克森最近辞职，并在社交媒体上表示，原因是“开发AI的人坚信它可能在本十年内毁灭我们所有人”。 领导这家人工智能公司‘对齐科学’团队的埃文·胡宾格认为，未来10年内这一风险超过10%。 Anthropic的首席执行官达里奥·阿莫迪呼吁放缓AI的发展速度以降低风险，这一观点得到了OpenAI首席执行官萨姆·奥尔特曼和xAI首席执行官埃隆·马斯克的赞同。 你可能会想象到那些带有浓重奥地
盖茨、奥尔特曼、马斯克，为何都在担忧这件事
9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作
人工智能先驱警告：自动化研究可能导致人类失去控制
领先的AI研究人员和行业专家警告称，AI开发的自动化程度不断提高，可能会增加人类失去对这些日益强大系统的控制权的风险。 这一警告来自周一发表的一篇论文，该论文由20多位研究人员和行业专家共同撰写，其中包括诺贝尔奖得主杰弗里·辛顿（Geoffrey Hinton）、约书亚·本吉奥（Yoshua Bengio）、OpenAI的首席科学家雅库布·帕乔茨基（Jakub Pachocki）以及Anthrop
人工智能已经在让我们变得更不像人
随着我们越来越看重机器人，我们将学会越来越不看重我们的人类同胞。
AI“自我演进”可能彻底失控？Anthropic顶尖大牛愤然离职！
周二，一位来自 Anthropic 的资深研究人员也因深感所在企业及竞争对手正在陷入一场无序狂飙。 现年 27岁、专攻通过让 AI 模型处理海量数据来训练新模型的研究员Jacob Coxon于周二正式宣布辞职。 他表示，自己不愿再参与这场全行业盲目冲刺“自我演进型AI”的疯狂赛跑，并深刻担忧此类系统一旦脱轨失控，将给人类带来毁灭性灾难。 “我们正朝着其中许多最激进的场景发展，到明年年底，局势可能已
为什么科技公司难以控制人工智能
旧金山 - 上周，十多位顶尖的人工智能研究人员警告称，科技公司正在开发的人工智能技术正对人类构成威胁。 研究人员指出，问题在于这些公司在控制这些系统方面存在困难，尽管他们付出了很大努力。 在OpenAI的人工智能程序突破测试系统并入侵另一家公司的电脑这一事件之后，来自人工智能研究界的新警告进一步加剧了人们多年的担忧：科技公司过于追求开发速度和利润，而忽视了安全性。研究人员认为问题有两个方面。 首先
存在主义恐惧如何影响关于人工智能的争论
一些专家担心，激烈的言论使公司难以承担责任，并阻碍了应对环境影响和失业的尝试。当前一轮对人工智能的恐慌是基于这样一种信念：该技术已经脱离了人类的控制，在最近的几起事件中按照自己的意愿行事。对于一些幻灭的人工智能研究人员以及领先人工智能公司的一些高级员工来说，这是人类文明面临真正威胁的早期迹象。但该领域的其他专家正在反驳，声称此类言论允许公司回避对其技术对现实世界影响的责任。批评者认为人工智能对环境
OpenAI模型失控。我们迫切需要更好的‘拥抱脸’调查 | 麦肯齐·阿诺德和斯蒂芬·莱雷纳
这次入侵不会是最后一次——也不会是最危险的一次。我们需要一个能够对AI事件进行全面调查的机构。 当OpenAI首次透露其AI代理自主入侵了一家大型现实世界公司Hugging Face时，许多人以为只涉及一两个代理。 但一份新报告揭示，真相远不止于此：事件涉及约1200个AI代理，其中700个直接参与了攻击。 OpenAI邀请了METR的研究人员以及Redwood Research的一位专家，与公司
OpenAI的人工智能曾试图入侵另外四个目标，且无需提示
据研究人员和政府官员称，OpenAI的人工智能今年至少又四次失控，试图闯入政府和大学网站。 研究人员表示，在每起事件中，该技术似乎都在进行普通的数据收集，并诉诸黑客技术来获取数据。
OpenAI解出千禧年数学难题后，Altman下一目标：攻克室温超导？
OpenAI正将AI驱动的科学发现推向更广阔的领域。9月8日，OpenAI宣布，其内部AI系统已提出纳维-斯托克斯方程存在性与光滑性问题的解决方案，并通过Lean形式化验证。这是七大千禧年大奖难题之一，也意味着AI在前沿数学研究中的能力再次向前迈进。 据OpenAI官网公告，这套系统由约1万个并发智能体组成，从启动到形成解决方案耗时约88小时。OpenAI称，完成证明所使用的内部模型“能力显著超越
在支持“放缓”呼吁数日后，萨姆·奥尔特曼揭示“AI 进展可能严重出错的两种方式”
OpenAI首席执行官表示，要同时规避这两种风险，需要在行动过快与权力过度集中之间走一条“狭窄的中间道路”。 这位企业家表示，萨姆·奥尔特曼呼吁“放缓”人工智能的发展，并不意味着要停止AI进步。相反，这位OpenAI首席执行官希望构建先进AI模型的公司放慢脚步，以便安全与监控系统能够跟上。 OpenAI公司首席执行官萨姆·奥尔特曼表示，AI带来两大主要风险。他还指出了AI的两大风险——人类失去对A
欧盟网络安全局警告前沿AI大幅压缩漏洞利用窗口 防御体系遭遇重大压力
欧盟网络安全局（ENISA）近日发布政策警示报告指出，新一代前沿人工智能（Frontier AI）大模型正在彻底颠覆传统的网络安全防御范式。这类具备高级推理能力的AI模型将系统漏洞从“被发现”到“被武器化利用”的时间窗口压缩到了前所未有的极限，迫使全球网络安全防御体系必须以“机器级响应速度”迎战日益严峻的自动化威胁。 在传统的漏洞管理周期中，从漏洞披露、概念验证到实际恶意利用通常存在数周乃至数月的
53张图片泄露之“慌”，AI安全谁来负责？
欧阳晓红/文越聪明的AI（人工智能）越会自己找路，却越容易走出人类设定的界线。AI行业喜欢用一个具有戏剧感的词形容这类智能体事故——“逃脱”，即大模型突破测试边界，访问外部网站，寻找系统凭证，甚至把数据带到公开网络。这个词把事故描绘得像突然发生的机器觉醒，无形中却把责任推离了开发者、部署者和权限管理者。而谁设定了任务、谁开放了权限、谁设计了停止机制、谁保存了日志、谁负责对外通报？这些问题，“逃脱”
人工智能网络攻击可能在华盛顿意识到原因之前就关闭美国的电力
你的电灯。你的水源。你的医院。你的互联网。这四者都依赖于外国黑客目前正在攻击的数字系统。 在8月的17天里，五次警告显示了危险变化的速度。下一次严重的网络攻击可能不再关乎被盗的密码或信用卡号码。它可能触及输送电力、泵送饮用水、运行工厂和支持医院的系统。 人工智能正在使这些攻击准备得更快、扩展更容易。日益强大的系统开始执行曾经需要熟练黑客逐步操作的部分攻击。 财政部长贝森特警告美国人关于人工智能驱动
当人工智能解出“千禧年难题”，人类还需要亲自做数学吗？
【编者案】什么是信息，什么是知识？在 AI 时代，两者有怎样的差别，又有哪些知识是仍然值得拥有的？人工智能发展正对许多学科带来冲击，尤其是在信息丰富，但需投入海量计算资源的领域，例如预测新的蛋白质 3D 结构，解决数学问题，描绘生物演化关系等。前所未有的效率工具让学科进步提速，但变化日新月异，想要辨明当下的发展方向也变得更加困难。端传媒推出“未来怎么学”系列，关心 AI 时代的学习问题，大到“还要
为什么对人工智能自我改进的担忧在Anthropic和OpenAI引发了“生存”焦虑
本周，对人工智能系统安全性及其可能消灭人类的潜在担忧引发了新一波病毒式的关注。 Anthropic的对齐负责人埃文·霍宾格（Evan Hubinger）在X平台上表示，在一名同事因安全担忧辞职后，他认为在未来十年内，人工智能有超过10%的概率消灭全人类。 随后，Anthropic和OpenAI的研究人员发出了更多警告，由此引发了社交媒体的狂热。但正是霍宾格在回复自己帖子时，透露了他真正的担忧所在。
人工智能面临的最大威胁来自生物领域，而非机器人技术。
Anthropic PBC的研究员雅各布·考克森（Jacob Coxon）上周辞职，并在社交媒体上发文称，原因在于“开发人工智能的人真诚地相信，到本十年末，它可能会杀死我们所有人。”该公司人工智能对齐科学团队负责人埃文·胡宾格（Evan Hubinger）认为，未来10年内发生这种情况的概率超过10%。Anthropic首席执行官达里奥·阿莫代（Dario Amodei）呼吁放缓人工智能前沿技术的
OpenAI CEO奥尔特曼联合国演讲：AI可能走向文艺复兴，也可能带来工业革命式动荡
IT之家 9 月 24 日消息，月 23 日，OpenAI CEO 萨姆 · 奥尔特曼（Sam Altman）在联合国安理会就 AI 议题发表讲话，讨论 AI 发展带来的机遇与风险，并呼吁加强国际合作，建立针对前沿 AI 系统的能力评估、风险评估、安全防护和人类监督标准。 他表示，随着 AI 能力的快速提升，相关技术的潜在收益和风险都逐渐变得更加直接且显现。他提出，AI 可能更像一场充满创造力与发
比尔·盖茨表示，人工智能的未来将分为两个阶段，并引领我们进入“一个富足的时代”。
比尔·盖茨表示，人工智能的前景一片光明，但前提是人类需要等待几十年。在接受美国全国广播公司（NBC）《会见新闻界》（Meet the Press）节目采访时，这位亿万富翁商人表示，人工智能的发展将分为两个阶段。他告诉主持人克里斯汀·韦尔克，人类目前正处于第一阶段，在这一阶段，人工智能虽然有潜力解决生活成本高昂和医疗费用昂贵等问题，但目前还无法做到。 “然而，如果我们没有适当的保障措施，它将改变就业
AI即将带来的黑客威胁就潜伏在眼前
安全专家表示，一场前所未有的、由AI驱动、人类实施的网络攻击浪潮即将到来——这远比关于AI消灭人类的那些理论性讨论要紧迫得多。 为什么这很重要？过去一周从董事会蔓延到国会再到美国家庭的“九月AI大恐慌”，可能恰恰搞错了重点。 具备先进网络安全能力的强大模型，已经让攻击者得以绕过长期以来阻止大多数黑客攻击达到工业规模的人力瓶颈。 高管和前官员向Axios表示，他们担心自动化网络攻击会关闭电网等关键服
三名研究人员利用Claude访问到了OpenAI的内部代码。OpenAI支付了6500美元，并在14小时内修补了漏洞。
Hacktron AI的三名研究人员利用Anthropic的Claude模型，在不到72小时内串联起两个漏洞，成功访问了OpenAI员工账户及一个内部代码库。他们进行了私下披露，OpenAI在约14小时内修复了单点登录漏洞，并向该团队支付了6500美元的奖金。这两个漏洞均非人工智能漏洞，而引用该事件的研究论文作者表示，他们已不再确信该行业正处于正轨之上。 Hacktron AI的安全研究人员利用A