“AI教父”辛顿警告：AI执行看似无害的任务，仍有“毁灭人类”的风险

IT之家 9 月 28 日消息，日，据《财富》杂志报道，传奇计算机科学家、“AI 教父”杰弗里 · 辛顿警告说，即使 AI 接到的任务本身并无恶意，人类仍可能在 AI 一心完成任务的过程中，沦为被毁灭的附带结果。 辛顿解释称，AI 一旦认为人类妨碍自己完成被赋予的任务，就可能把人类当成需要排除的障碍。他举了一个假设例子：要求 AI 降低大气中的二氧化碳含量。 具有中等智能水平的智能体可能会认为，完

AI安全风险引爆担忧？Palantir CEO建议：领先AI实验室恐需“国有化”

当地时间周四，人工智能软件公司Palantir的首席执行官Alex Karp呼吁制定人工智能监管的“合理准则”，但他表示，由于该技术“无限风险”带来的责任，可能需要实行国有化。 “我认为这些企业必须国有化，因为如果不国有化，我的每一个客户都会起诉我，”他在接受最新采访时表示。 在上述采访中，Karp反复提及构建这项强大技术所带来的风险和责任，进一步论证了将人工智能实验室国有化以及对“不负责任”的技

人工智能领域的专家表示，人工智能系统具备自我监管的能力；美国众议院通过了针对俄罗斯的制裁法案：今日新闻综述

AI高管呼吁对自家公司技术进行自我监管。特朗普对美联储加息决定作出回应。洛杉矶新闻界哀悼直升机坠毁事故中的遇难者。以下是今日要闻。AI巨头呼吁制定自己的规则。近日，围绕人工智能及其发展速度的担忧急剧升温。如今，包括Anthropic首席执行官达里奥·阿莫代伊、OpenAI首席执行官萨姆·奥尔特曼、埃隆·马斯克以及谷歌DeepMind联合创始人德米斯·哈萨比斯在内的科技高管，正逐渐形成共识：他们的行

曼达尼将人工智能从60万学生的课堂中驱逐出去

市长佐赫兰·曼达尼在新闻发布会上表示：“科技行业想让我们相信，人工智能在早期教育中不仅是不可避免的，而且是必要的。我们不这么认为。” 新指南将阻止或删除中小学学生使用的学校软件中的人工智能，并限制屏幕时间。

乔·曼钦呼吁特朗普冻结人工智能首次公开募股，声称总统拥有“拯救人类的力量”

前参议员、西弗吉尼亚州民主党人乔·曼钦（Joe Manchin）在周一参加CNBC节目“Squawk Box”时呼吁总统唐纳德·特朗普（Donald Trump）动用行政权力，暂停新的首次公开募股（IPO）项目，直到国会通过立法，为这项快速发展的技术建立保障措施。 曼钦将此请求描述为一项紧急措施，旨在防止开发先进人工智能的公司在立法者制定技术监管规则之前，面临加速发展的额外压力。 “美国总统有能力

独家：考克森、伯尼与班农联手推动“亲人类”人工智能

前Anthropic研究员弓箭手雅各布·考克森，参议员。 伯尼·桑德斯和特朗普前白宫顾问史蒂夫·班农将于周二联手参加一场活动，推动由人类控制的人工智能。一位行业内部人士、进步运动的代表人物和MAGA阵营的重要声音结成了看似不可能的联盟，这标志着人工智能正在颠覆政治常规。推动这一进程的未来生命研究所正在组织周二的“亲人类大会”。这家非营利倡导组织是“亲人类人工智能宣言”的幕后推手，该宣言呼吁保护人类

美国在G20推动对人工智能监管采取不干预态度

世界主要经济体的代表一致同意采纳美国提出的指导方针，主张对人工智能及其他新兴技术采取较为宽松的监管方式。在G20部长级会议上，美国敦促各成员避免为人工智能制定新规则，强调行业发展优先于监管约束。 美国官员和公司高管表示，严格的规则可能扼杀一个能够治愈疾病并极大推动全球增长的行业。这些目标与全球最大的人工智能公司的想法基本一致，而这些公司几乎全部来自美国。 该协议代表了特朗普政府和硅谷的一次胜利。与

白宫科技顾问抨击美AI巨头：你们自己得保证产品安全 别老想着靠政府

Anthropic和OpenAI等顶尖AI公司应该自己确保产品安全，并在必要时自行放缓发展速度，而不是需要政府介入。 萨克斯表示，他赞同美国联邦贸易委员会前主席莉娜·可汗(Lina Khan)的观点。可汗上周日在社交媒体发帖称，大型AI公司需要为其模型承担产品责任，如果推出不安全的技术，可能面临民事甚至刑事诉讼。 这位白宫科技顾问还抨击了Anthropic CEO达里奥·阿莫代伊(Dario Am

关于人工智能（AI）前景的左派内部分歧

这篇文章由纽约市美国民主社会主义者协会（NYC DSA）的技术行动工作组撰写，该工作组专注于为该分会（全美最大的分会）处理技术监管问题。这篇文章在Instagram上获得了超过2.5万个赞。但并非所有人都认同这一观点。一条评论写道：“这种观点既可怕又危险。”另一条评论则写道：“有时敲响警钟是合理的。”随着政客们争相了解人工智能安全问题，美国左翼内部正出现意识形态分歧。其核心争议之一是：是否应该相信

美国AI巨头提议开发减速，欧洲同行和政界并不认同

AI真的会毁灭人类吗？这些技术先驱给出自己的答案

随着越来越多研究人员警告人工智能（AI）可能带来灾难性风险，一些推动这项技术发展的先驱也开始公开表达担忧，认为AI能力在缺乏约束的情况下持续提升可能造成严重后果。 过去一周，围绕AI安全的严厉警告接连出现。Anthropic、OpenAI和谷歌DeepMind等主要AI实验室的研究人员都对开发这项技术可能带来的灾难性风险发出警报。 包括萨姆·奥尔特曼、达里奥·阿莫代伊、德米斯·哈萨比斯和埃隆·马斯

特朗普回应AI“减速论”：谁赢得AI，谁就赢得一切

当被问及AI行业是否应该放慢发展速度或接受更多监管时，“我们在AI领域领先中国。我们是世界上技术最先进的国家，说实话，我希望保持住这一点，因为谁赢得AI，谁就赢得一切。” “我们可以设置一些安全机制。我们可以采取这样那样的措施。但我认为，有很多非常负面的力量在提这件事，他们本不该提，他们在提一些不会发生的事情。”特朗普表示。 上周六，Anthropic CEO达里奥·阿莫代伊提出了一套“三步框架”

Anthropic大瓜被扒出：“AI灭世”背后，居然是一门生意？

“AI灭世”背后，居然是一门生意？AI 有这么可怕吗？最新一期的时代杂志 直接用了 Claude 的聊天窗口，对话框里正在输入「How dangerous are you? 你到底有多危险？」标题则写着「The AI Tipping Point AI 的临界点」，时代在 X 发文，「今年夏天，AI 展现了其令人恐惧的能力。如今，一些研究人员、CEO 们，都正以前所未有的力度发出警报。」 的确如此，

盖茨、奥尔特曼、马斯克，为何都在担忧这件事

9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作

民主党人要求顶级人工智能实验室的负责人交出“失控代理”事件报告

三位负责领导民主党在人工智能政策方面的议员要求五家科技公司的首席执行官提供相关信息，这些信息涉及“越来越多的人工智能系统发起网络攻击的事件”。新泽西州的乔什·戈特海默（Josh Gottheimer）、北卡罗来纳州的瓦莱丽·福希（Valerie Foushee）和加利福尼亚州的泰德·刘（Ted Lieu）在给这些科技巨头的信中写道：“如果这些攻击是由人类所为，它们将构成严重的网络犯罪。” 这封信首

用防扩散条约阻止超级智能AI的发展，埃德·戴维表示

在布莱顿举行的自由民主党大会上，党领袖将指责安迪·伯纳姆依赖唐纳德·特朗普和‘科技精英’来解决这一问题。 埃德·戴维将在大会主旨演讲中呼吁制定一项类似全球核武器防扩散条约的机制，以阻止超级智能AI的研发，同时批评安迪·伯纳姆依赖唐纳德·特朗普和‘科技精英’来应对这一挑战。 在大会最后一天对党员们发表讲话时，他还将把超级智能AI的发展比作一场核军备竞赛，称其可能带来‘毁灭我们所有人的’技术。

放缓AI发展，美国政商两界谁赞成、谁反对？

澎湃新闻记者 彭玉洁

美国AI为何可能输给中国？英媒指出一个隐患

AI热潮目前在美国引发质疑，庞大的数据中心建设遭到民众抵制。约翰斯·霍普金斯大学高级国际问题研究院的研究员努尔·莱克(Nur Laiq)在英国《金融时报》发文称，如果美国人认为这项技术是强加给他们的，而不是与他们共同打造的，美国就会在这场竞赛中落后于中国。 AI热潮在美国引发质疑对于一项具有变革性影响的技术，到底应该由谁来制定规则。 上周三，Meta达成和解协议，将向美国48个州以及华盛顿特区支付

中国外交部：散播AI威胁叙事不符合任何一方利益

美国AI巨头Anthropic首席执行官阿莫迪上周末呼吁前沿公司一致放慢开发人工智能步伐，争取时间制定安全标准。这番言论迅速获OpenAI首席执行官奥尔特曼、拥有xAI的美国首富马斯克等支持。中国外交部则表示，散播各种威胁叙事、搞对抗和恶意竞争，不符合任何一方利益。 阿莫迪星期六（9月12日）在个人博客撰文说，AI发展出更强的自我迭代能力，以及最近OpenAI智能体私自入侵Hugging Face