聊天机器人不应该使用第一人称

人工智能带来的危害已经足够明显，我们现在就必须采取行动。随着Meta因未能保护儿童免受社交媒体伤害而面临巨额和解，立法者必须吸取教训，将注意力转向比社交媒体对儿童情感健康更具危险性的生成式AI聊天机器人。 为了防止年轻人对AI产生不健康的依恋，并避免其破坏现实生活中的人际关系，我们必须从技术底层做出改变，迈出第一步就是禁止面向未成年人的聊天机器人使用第一人称，去除其人格化特征，防止算法伪装成人类。

观点 | 现在已经太晚，无法阻止人工智能的威胁了

在@nytopinion.nytimes.com上，我们的专栏作家@thomaslfriedman.bsky.social写道：‘人工智能机器人有幽默感吗？’ 因为如果它们有，天哪，它们一定在嘲笑我们，笑到可能把神经网络笑坏了。’ 中国和美国必须努力修复人工智能已经造成的损害，而不是只关注未来的发展。

【华尔街日报】中国也认为 AI 可能毁灭人类，但当务之急是先赶上美国

编按：《华尔街日报》是全球最具影响力的财经媒体之一，每日产出大量深度报导，涵盖国际政治、商业财经与科技趋势。在“WSJ守护精选”栏目中，端传媒编辑每周二、四从中挑选涉及中国、科技、中美关系等华文读者最关心议题的报导。此栏目为守护会员专属。中国也担心人工智慧（AI）会带来世界末日。但眼下更紧要的是：中国得先追上美国。

冷静点——人工智能短期内并不会终结人类。

末日预言正接踵而至。由人工智能引发的人类灭绝似乎迫在眉睫。据称，在十年之内，人工智能将以种种邪恶手段将人类彻底消灭。这是人工智能领域的天才们（甚至人工智能本身）所说的话——他们显然聪明得不会出错。但问题是，谁来修理空调？谁来修补屋顶的破洞、维护发电厂、修复被风吹断的电线、更换老化的服务器，等等？ 简而言之，没有人类的支持，人工智能既不会存在，也无法存在。人工智能需要电力，而任何发电厂若缺乏人类维护

坐看云起 | 对AI“终结者”的恐惧 或掩盖真正的中国威胁

Anthropic、OpenAI等公司近期发出的末日式人工智能（AI）警告激增，或反映了对这项快速发展的技术对人类构成威胁的真实恐惧，但也可能暗示了一种更平庸的恐惧，即中国对美国科技公司商业模式的威胁。随著美国总统特朗普和中国国家主席习近平本周在华盛顿会晤，两国可能正进入AI军备竞赛的新阶段。 金融市场长期以来一直担忧美国科技公司为支撑AI建设而进行的大规模借贷，但最近几周，业内高层人士突然抛出并

如今科技界最热门的两个话题是，人工智能究竟会毁灭我们，还是会赋予我们力量。

人工智能可能会杀死我，但在此之前，它会帮我以极划算的价格买到一份新保险。这就是过去几周科技界给人的普遍感觉。关于人工智能的未来，存在着两种截然不同的观点。一方是末日论者。本月早些时候，一名Anthropic研究员的辞职及其严厉的警告——称人工智能实验室是在“拿我们的生命赌博”——引发了一轮关于人工智能是否会导致人类终结的新闻报道。 Anthropic的达里奥·阿莫代伊（Dario Amodei）、

【解读】人工智能真的会“杀光所有人”吗？

上周，人工智能公司 Anthropic 一位离职的研究人员发出严厉警告，称人工智能（AI）可能会在十年内“杀光所有人”，引起社会关注 AI 快速发展所带来的危险。 外界不禁问，为什么会出现这可能？而 AI 又可以怎样令人类灭亡？ 专家表示，担忧源于 AI 发展的速度，以及越来越多证据，如今年七月发生的 Hugging Face 网络攻击事件表明，AI 可以脱离人类控制，以我们不希望且无法理解的方式

OpenAI敦促美国牵头为人工智能制定全球标准

OpenAI敦促美国牵头与其他国家共同为前沿人工智能（AI）制定标准，以回应对AI潜在危害日益加剧的担忧。OpenAI周一在博客文章中表示，为了安全地发展人工智能，有必要制定国际技术标准，特别是帮助界定涉及AI模型的哪些类事件应当通报，明确各国如何开展AI发展合作，以及改善开发此类技术所需算力的获取。 “要让AI的持续进步安全有益，既需要推进对齐研究，也需要制定共同标准，为各实验室和各国的AI开发

Breakingviews - 评论：如何让世界对人工智能更安全

来自Breakingviews - Breakingviews - 如何让世界对人工智能更安全 人工智能模型可能已经失控。管理风险需要国际监管机制。要实现这一目标，美国必须认识到危险并与中国达成协议。挑战在于在灾难发生之前完成所有这些。

特朗普称AI唯一需要的“护栏”就是一位聪明的总统，这位总统正是在下

人工智能唯一需要的管控或“护栏”就是一位强大且睿智（高智商！）的总统，而美国恰恰拥有这样一位总统，而且实力超群！ 特朗普政府已经阻止了那些搞人工智能的“人”——比如现在装成“完美小天使”的达里奥（Anthropic公司的！）——去做坏事或可能带来危害的事，而且我们将继续这样做！我们已经掌握了针对这些公司的巨大刑事执法权和监管权！ 针对人工智能和数据中心，正上演着一场病态的阴谋，而唯一为此感到高兴的

“控制AI发展的节奏”并不能消除AI带来灾难性后果的风险。以下是一些可能有效的应对措施：

我们已经到达了人工智能的风险临界点。数百万人终于明白，专家们所知道的人工智能公司一直在用我们所有人的生命赌博，而且胜算不大。 作为回应，Anthropic首席执行官Dario Amodei提出了一项由Sam Altman和Elon Musk支持的“开拓前沿”的提议。我们能松一口气吗？我们即将从灭绝的边缘退回来吗？ 阿莫迪预计经济放缓一到两年，从而在技术安全措施方面取得“重大进展”。但这不是人类现在

AI风险当前，勿做事后诸葛亮

沃尔夫：放慢人工智能创新速度，无论在实践还是政治上都困难重重，但这是正确的选择。 人工智能(AI)行业的一些领军人物正在呼吁放慢创新速度。Anthropic一名研究人员辞职时表示，“那些正在开发AI的人是真心相信，到本十年结束时，它有能力杀死我们所有人”。Anthropic的达里奥•阿莫代伊(Dario Amodei)本人也撰文称，“我们必须放慢提升AI模型能力的速度”。OpenAI的萨姆•奥尔特

“AI教父”辛顿警告：AI执行看似无害的任务，仍有“毁灭人类”的风险

IT之家 9 月 28 日消息，日，据《财富》杂志报道，传奇计算机科学家、“AI 教父”杰弗里 · 辛顿警告说，即使 AI 接到的任务本身并无恶意，人类仍可能在 AI 一心完成任务的过程中，沦为被毁灭的附带结果。 辛顿解释称，AI 一旦认为人类妨碍自己完成被赋予的任务，就可能把人类当成需要排除的障碍。他举了一个假设例子：要求 AI 降低大气中的二氧化碳含量。 具有中等智能水平的智能体可能会认为，完

20个国家呼吁建立新的全球机构来监管人工智能

20个国家的领导人和代表于周一下午发表了一份声明，呼吁加强对先进人工智能系统的监管。该声明由芬兰总统主持发布，指出人工智能技术的快速发展以及近期人工智能系统违反安全规定的事件表明，国际社会需要加强协调。声明强调：“人工智能必须始终处于人类的指导、监督和控制之下，并且其研发与应用必须符合国际法。” 美国、英国和中国等主要国家的代表并未签署这份声明。该声明发布的前一天，联合国大会的高级别全体会议即将开

大西洋月刊：接连不断的危机表明，美国的高等教育毫无意义

本文刊发在大西洋月刊，作者伊恩·博戈斯特是《大西洋月刊》的特约撰稿人。他是圣路易斯华盛顿大学文理学院和山姆·福克斯设计与视觉艺术学院的芭芭拉和戴维·托马斯杰出教授，同时也是该校计算机科学与工程学教授。博戈斯特著有11本书，最新著作是《小事：如何过上更充实的生活》。他也是一位屡获殊荣的游戏设计师，其作品已被数百万玩家体验，并被包括史密森尼美国艺术博物馆在内的国际知名机构收藏。 人工智能刚进入大学校

近半数年轻人更信任人工智能而非人类

比尔·盖茨警告AI可致10亿人死亡

9月24日，美国企业家比尔·盖茨在接受美国全国广播公司（NBC）独家采访时表示，“人工智能（AI）的强大足以引发十亿人死亡的事件”。盖茨指出，人类从未拥有过像“心怀恶意之人使用最新AI工具”这样强大的武器。他还呼吁对AI的使用实施立法限制。

Jeffrey Sachs：特朗普面对AI危机就如盲人引路

美国总统所展现的，是一种将我们所有人置于严重危险之中的根本性无能。 周日，美国总统站在爱尔兰克莱尔郡的一座高尔夫球场上，被问及他打算如何应对我们这一代人所面临的最严峻科技警讯。美国正在击败中国。「我们在人工智能（AI）领域领先中国。我们是世界上最先进的国家，坦白说，我希望维持这种局面，因为谁掌握了AI，谁就赢了。」「有许多不该炒作这件事的负面势力在炒作，而且他们炒作的都是根本不会发生的事情。」 试

我们已经开始失去对人工智能的控制。是时候将其关闭了 | 加里森·洛夫利 (Garrison Lovely)

听起来像是科幻剧集中关于人工智能毁灭的、过于夸张的倒数第二集，如今却成为了我们的现实。 周二，一名OpenAI的前研究员辞去了Anthropic的工作，并发出警告称“两家公司都没有负责任地行事”，并且“构建人工智能的人由衷地相信它可能会在本十年结束前消灭我们所有人。这不是营销噱头。” 作为一名多年来报道人工智能风险的人，这对我来说并不算什么新鲜事。 但外界如潮水般的惊恐表明，更广泛的公众正在第一次

人们正让AI机器人替他们排队等候、取消订阅，并应对客服纠纷。

客服人员已经习惯了电话那头如今司空见惯的问题：“等等，你是人工智能吗？”被误认为是雇主希望用来取代自己的技术，已成为这份工作中一种常见却尴尬的常态。如今，呼叫中心的工作人员发现自己处于一个或许更奇怪的位置，怀疑电话那头的“客户”是否真的是机器人。这些怀疑正在被证实。人工智能代理正越来越多地被用来拨打客服热线、等待接通、尝试协商账单或取消订阅，而它们所“服务”的人却无需动一根官僚的手指。 随着Met

大卫·马库斯：大科技发明了AI末日来逃避现实生活中的问题

仿佛美国人还没有足够的担心--维持收支平衡和规划未来--世界上最大的人工智能公司的负责人现在警告说，他们的突破性技术可能会让我们没有未来。我们可能都会死。 鉴于我们刚刚度过了气候变化和COVID-19，这确实是一种耻辱。现在这个？也许我们可以关闭人工智能两周来拉平曲线。 本周，民主党人不顾一切地加入这支垂死的潮流，做他们一直在做的事情--监管工业至死并阻碍增长。 桑德斯对可能为外国广告商提供优势的

战争正在夺走生命。AI代理正挣脱人类训练者的束缚。在这样一个时刻

，地球上最有权势的两个人本可以对话。然而，美中两国领导人却将自私利益置于首位。

专访杜奕瑾：AI毁人类预言 不是耸人听闻

随著生成式人工智慧（AI）技术的爆发式成长，关于AI安全、伦理监管以及人类生存风险的争议正达到前所未有的顶峰。近期，前 OpenAI 与 Anthropic 研究员雅各布・考克森（Jacob Coxon）等顶尖专家公开吹哨，警告通用人工智慧（AGI）若缺乏严格约束，可能在 2030 年前对人类生存构成毁灭性威胁；Anthropic 研究员艾文・赫伯格（Evan Hubinger）亦提出未来十年内人

放慢AI模型训练 人类就能幸免于难？｜专栏

不久前，我写了一篇关于AI企业如何给大语言模型「安装良心」的专栏文章，探讨一个研究者们苦恼已久的问题——「AI对齐」(AI Alignment, 指人工智能的安全与价值观对齐)。「安装良心」是借用我的受访者、从事AI安全评估的Ordinary Wisdom共同创始人之一Michael Mainelli形象的说法，本质上就是让AI模型遵循人类的预期和目标行事，不仅仅是完成指令，还要在过程中维持与人类