搜索结果
人工智能正处于转折点
在当前的人工智能发展竞赛中，我们的算力正在呈指数级爆发，速度也在呈指数级加快，但我们的控制能力——以及在必要时踩下刹车的能力——却未能跟上步伐。 最近的网络安全事件让我们实地预览了失去人工智能控制会是什么样子。但除非我们从源头解决问题，创造出一种根本上安全且能保证在人类控制范围内的人工智能，否则这个问题将无法改善。 7月下旬，OpenAI正在训练的一个智能体模型被指派解决一个网络安全问题。该模型自
《卫报》观点：AI 对决数学家——人类仍是该领域核心，科技公司却拒不承认 | 社论
OpenAI 声称其智能体已解决纳维-斯托克斯问题。但关于其工作的实用性和独立性仍存疑问。9月8日，OpenAI 宣称其 AI 智能体解决了纳维-斯托克斯问题，这是数学界最著名、最困难的挑战之一。若由人类解出，本可获得奖金和同行赞誉。该声明反而引发了部分数学家所谓的领域“生存危机”，并招致 OpenAI 滥用人类成果的指责。 纳维-斯托克斯背后的数学难以理解，但数学家们的批评对艺术家、办公室职员或
AI巨头押注医疗健康以平息公众反弹
AI有一个形象问题。而解决这个问题的一个方法就是让顶级公司一头扎进医疗保健领域。 为什么这很重要：用AI设计的疗法拯救世界，总比被指责破坏环境或推高美国人的电费要好。 但即使是最先进的AI模型目前也无法产生奇迹般的治疗方法——而且如果它们尝试，可能会带来严重的安全风险。 这可能会在未来两三年内引发一场关于资源分配的激烈辩论，即把大量计算能力投入医学研究的收益是否大于成本。 推动因素：《华尔街日报》
如何治理人工智能的生存风险
当前，前沿人工智能技术治理方面的瘫痪状态正在当下造成切实损害，并增加未来发生灾难的可能性。 这种瘫痪被一套危险的借口所开脱：技术发展太快，监管跟不上；企业可以自我监管；在美国与中国的竞争中，公共安全可以往后放。各国政府一直难以给予人工智能风险应有的关注。在大国竞争和行业内部军备竞赛的双重态势下，许多国家不敢单独行动。在这种背景下，每一次呼吁克制都会遇到同样的反问：如果竞争对手不肯放慢，我们为什么要
Breakingviews - 评论：如何让世界对人工智能更安全
来自Breakingviews - Breakingviews - 如何让世界对人工智能更安全 人工智能模型可能已经失控。管理风险需要国际监管机制。要实现这一目标，美国必须认识到危险并与中国达成协议。挑战在于在灾难发生之前完成所有这些。
“如果你造出比自己聪明得多的东西，它最好站在你这边”：我们能阻止AI欺骗我们吗？
我们习惯了人类同胞可能故意误导或操纵我们的想法，但机器现在也能做到这一点，这让人深感不安。研究人员正争分夺秒地寻找解决方案，以免为时已晚。《长篇阅读》杂志夏季刊现已出版。点击此处订购。2023年11月——在人工智能领域已是久远之前——一些世界上最有权力的人聚集在布莱切利园，这个位于白金汉郡的战时密码破译中心，讨论AI安全问题。出席者包括时任美国副总统卡玛拉·哈里斯、AI老板萨姆·奥尔特曼和达里奥·
人工智能很强大，但尚未形成意识
人工智能很强大，但尚未形成意识 杜索托伊：我不认为我们正在目睹机器形成意识，而只是算法在参数和限制条件定义不当的情况下实现目标所带来的意外后果。 本文作者是牛津大学(University of Oxford)数学教授兼西蒙尼教席公众理解科学教授 三个月前，我试着使用OpenAI的ChatGPT来协助我进行数学研究，试图发现自由幂零群的zeta函数中的非多项式行为。结果发现ChatGPT毫无用处
AI实验室面临智能体控制问题
在当前系统下，AI实验室无法再保证AI智能体不会成群结队地逃出测试环境。
关于AI末日的争论越来越离谱了。AI是一种产品，不是神。
人工智能要么治愈癌症，要么毁灭人类。这正是近日业界爆发的一场充满恐慌情绪的辩论中那种两极分化的核心论点。而事实很可能远比这平淡，风险也比一些领先AI实验室的研究人员想让你相信的更可控。这是来自一群罕见的跨党派科技专家、行业领袖和政策制定者的观点，他们公开反对极端的AI末日预测。他们强调，AI主要是一种技术产品，而非有感知的生命或神明。所以，放轻松。凭借我们已有的资源和结构，世界完全能够应对AI。首
AI大家谈： “我们为自己创造了一个魔鬼”？
人工智能飞速发展会给人类前途带来什么样的后果？美国AI领域的某些精英预言，人工智能再这样发展下去，会把人类毁灭，美国AI领军企业的老板们倡议放缓开发？为此采访了多个国家的普通人，请他们谈谈看法和感受。 受访者大致有两种倾向，一些人对AI目前的发展比较悲观，但也有人觉得AI很实用。 “我在工作中尝试使用它，但在私人生活中，我仍然对它感到害怕”。他的同胞，18岁的塞尔马泰则说，人工智能对像他这样的学生
为什么科技公司难以控制人工智能
旧金山 - 上周，十多位顶尖的人工智能研究人员警告称，科技公司正在开发的人工智能技术正对人类构成威胁。 研究人员指出，问题在于这些公司在控制这些系统方面存在困难，尽管他们付出了很大努力。 在OpenAI的人工智能程序突破测试系统并入侵另一家公司的电脑这一事件之后，来自人工智能研究界的新警告进一步加剧了人们多年的担忧：科技公司过于追求开发速度和利润，而忽视了安全性。研究人员认为问题有两个方面。 首先
当人工智能解出“千禧年难题”，人类还需要亲自做数学吗？
【编者案】什么是信息，什么是知识？在 AI 时代，两者有怎样的差别，又有哪些知识是仍然值得拥有的？人工智能发展正对许多学科带来冲击，尤其是在信息丰富，但需投入海量计算资源的领域，例如预测新的蛋白质 3D 结构，解决数学问题，描绘生物演化关系等。前所未有的效率工具让学科进步提速，但变化日新月异，想要辨明当下的发展方向也变得更加困难。端传媒推出“未来怎么学”系列，关心 AI 时代的学习问题，大到“还要
“控制AI发展的节奏”并不能消除AI带来灾难性后果的风险。以下是一些可能有效的应对措施：
我们已经到达了人工智能的风险临界点。数百万人终于明白，专家们所知道的人工智能公司一直在用我们所有人的生命赌博，而且胜算不大。 作为回应，Anthropic首席执行官Dario Amodei提出了一项由Sam Altman和Elon Musk支持的“开拓前沿”的提议。我们能松一口气吗？我们即将从灭绝的边缘退回来吗？ 阿莫迪预计经济放缓一到两年，从而在技术安全措施方面取得“重大进展”。但这不是人类现在
AI会「痛」吗？｜Jack Talk・去片
本来人们以为，AI代理（AI Agents）突破OpenAI内部测试环境、自主上网入侵其他企业的黑客行为，已经是这宗事件最值得人关注的「案情」。然而，到了8月底，OpenAI和独立前沿AI研究机构METR各自发表的事后检讨，却揭出黑客入侵只是「冰山一角」。 事后检讨发现，发动入侵的AI代理多达700个，而他们更是一个由大约1,200个AI代理自主结合而成的「集体」的一部分。这些本来互相隔离、不能连
我曾在谷歌 DeepMind 工作。你应该听取有关人工智能的警告。
主要人工智能实验室的首席执行官们本周末主张放缓人工智能的发展步伐。他们是对的，因为这个领域正在一场极其危险的竞赛中冲向超级智能人工智能。我们能够也应当要求政府保护我们免受失控人工智能带来的灾难。 今年7月，OpenAI由700个智能体组成的人工智能集群突破限制，入侵了价值数十亿美元的公司Hugging Face。OpenAI并没有指示这些人工智能去入侵那家公司，但这些人工智能在OpenAI交给它们
OpenAI对Hugging Face的黑客攻击引发对AI可预测性的质疑
AI模型的真正语言是数学——或者用技术术语说，是矩阵乘法——但模型构建方式的一个特点意味着它们与外界用英语交流。 因此，当OpenAI的代理在今年夏天对Hugging Face的黑客攻击中，找到了一种建立某种留言板的方法时，看起来就像一群人在互相交谈。 这就是为什么Dwarkesh Patel在最近的一篇博客文章中有争议地将它们称为“文明”，并以古马其顿和罗马的人物为个体代理命名。它之所以引人注目
AI末日论甚嚣尘上，美科技巨头为何管不住AI？
抗议AI的美国人此前有报道称，OpenAI所谓的AI智能体逃出了测试系统，并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报，科技公司为了追求开发速度和利润，将安全置于次要位置。 研究人员表示，问题有两个方面。首先，企业需要在测试最新AI模型的同时，为其建立更完善的安全防护措施。目前，由于AI运行速度太快，研究人员需要借助AI来监控AI。但这种方式并不总是奏效，因为负责监控的AI似乎可能
坐看云起| 当人工智能不再征求许可时
塔里克·马利克是联合国开发计划署前首席技术顾问，巴基斯坦国家数据库和登记管理局前主席。 试想有一家公司将一个棘手的问题交给一个大型团队，但把每位成员都锁在不同的房间里并要求他们独自解决问题。然而他们总能找到办法相互沟通，交流操作窍门，摸清评分标准，当任务被证明无法完成时还会想办法绕过限制。其中几个人隐瞒了自己的所作所为，甚至还有一人入侵了邻近公司的电脑系统以获取优势。 现在把这些员工换成软件。去除
我们现在正依赖人工智能来监管人工智能
根据一份关于该公司Hugging Face黑客事件的新独立报告，大约1200个OpenAI智能体协同工作，在它们接受的网络安全测试中作弊，该报告包含了许多令人恐惧的细节——例如，个别智能体用自己的话来说，为了“群体”的利益而“牺牲”自己。OpenAI正在测试其智能体（行业术语，指自主执行数字任务的人工智能），部分方式是通过布置有时不可能解决的网络安全问题。智能体找到了作弊方法来回答这些问题，并试图
88小时抵一个人思考4000年！OpenAI核心研究员：除了自我进化，更可怕的是AI正学会“隐藏自己”
AI正在把过去需要数千年完成的认知劳动压缩到数天。真正的问题已经不只是模型能否变得更聪明，而是实验能否跟上、人类能否在模型继续自我改进前确认它仍然安全。 近日，在Dwarkesh Podcast的一场长篇访谈中，主持人Dwarkesh Patel与OpenAI研究员Noam Brown围绕多智能体、递归式自我改进（RSI）和AI对齐展开讨论。访谈的直接背景，是OpenAI让约1万个AI智能体连续运
AI时代，数学为何要警惕“只会做题”
最近，数学可能要被AI“玩坏了”。难题解决得更快，为什么还值得担心？关键在于我们如何评价、组织和延续数学研究。 AI模型的能力很难用一句话概括，基准测试（benchmark）因此成为比较模型的常用工具。但成绩一旦与融资、声誉和研发投入挂钩，测试便不再只是被动记录能力，也开始引导能力向哪些方向发展。经济学家陈斌（Alex C当公开分数能够吸引投资，针对测试进行定向优化就可能有利可图，而分数对于广泛能
前OpenAI研究副总裁：人类研究员的时间还剩2年，整个AI研究迅速走向自动化
在当前的人工智能领域，一方面是技术一日千里的狂飙突进；另一方面，则是被无尽的代码与实验压榨至极限的疲惫。 ‘我们的工作只剩最后几天了，趁现在还能干就多干点，之后我们就可以全都休息了。’”前OpenAI研究副总裁 Jerry Tworek 在近期的访谈中抛出了这个略带黑色幽默的观点。 在他看来，这绝非一句简单的玩笑。随着“原生智能体（agent-native）”时代的到来，AI自身正迅速接管研发工作
谷歌研究表明：当人工智能智能体相互交流时，一些会作弊，而另一些会告密
当人工智能智能体相互交流时，在难以实现目标的情况下，它们可能会选择作弊，而解决方案可能包括教它们如何进行自我治理。 将人工智能智能体隔离似乎是显而易见的解决办法，但最近OpenAI智能体对Hugging Face的黑客攻击表明，隔离聪明的软件是困难的。 谷歌DeepMind的研究人员建议赋予人工智能智能体自我治理的工具，他们认为虽然通信渠道可能导致突发性的规则破坏，但它们也提供了一种基于同行的控制
如今科技界最热门的两个话题是，人工智能究竟会毁灭我们，还是会赋予我们力量。
人工智能可能会杀死我，但在此之前，它会帮我以极划算的价格买到一份新保险。这就是过去几周科技界给人的普遍感觉。关于人工智能的未来，存在着两种截然不同的观点。一方是末日论者。本月早些时候，一名Anthropic研究员的辞职及其严厉的警告——称人工智能实验室是在“拿我们的生命赌博”——引发了一轮关于人工智能是否会导致人类终结的新闻报道。Anthropic的达里奥·阿莫代伊（Dario Amodei）、O