英国议员对AI的混乱之夏感到恐慌

随着AI代理失控以及对超级智能的担忧加剧，政界人士正在就其对人类生存的潜在危害发出警告。

中美AI竞赛：世界变得更危险还是更安全？

关于人工智能（AI）及其潜在危险的警告，近年来可谓接连不断。 美国最大的人工智能公司之一——Anthropic——的一名顶尖AI安全研究人员警告说，这项技术正以惊人的速度发展，未来十年内，AI“可能导致全人类灭绝”的概率高达10%。 这样的担忧引发了要求美国采取协调一致行动、放缓AI发展速度的呼声。但与此同时，也有人质疑是否真的有必要为AI设置监管“护栏”。美国总统特朗普就是其中之一。他认为，如果

一个老龄化的国会试图在不使用人工智能的情况下对其进行监管

国会议员和州长面临着越来越大的监管人工智能的压力，但其中二十多名与Axios交谈的人表示，他们没有使用该技术或很少使用该技术。 为什么这一惊人的承认--尤其是在年长、有影响力的立法者中--是在呼吁人工智能放缓之际做出的，并警告行业内如果不加以控制，人工智能可能会终结人类之际。 批评者认为，如果政客们不使用这项技术，甚至不理会它，他们就不可能了解这项技术的变化有多快，以及它可能释放的威胁或科学突破。

AI末日论甚嚣尘上，美科技巨头为何管不住AI？

抗议AI的美国人此前有报道称，OpenAI所谓的AI智能体逃出了测试系统，并入侵了另一家公司的计算机。AI研究领域内部如今再次发出警报，科技公司为了追求开发速度和利润，将安全置于次要位置。 研究人员表示，问题有两个方面。首先，企业需要在测试最新AI模型的同时，为其建立更完善的安全防护措施。目前，由于AI运行速度太快，研究人员需要借助AI来监控AI。但这种方式并不总是奏效，因为负责监控的AI似乎可能

研究人员警告2030年前人类灭绝风险，立法者抨击AI公司

Anthropic前员工Jacob Coxon表示，AI将成为‘超人类系统’，并可能在十年内导致人类灭绝。 就在三名Anthropic研究人员警告人工智能可能在本十年内毁灭人类的一天后，立法者开始猛烈抨击这一新兴技术的风险。 德克萨斯州共和党参议员特德·克鲁兹（Ted Cruz）在ABC电视台《The View》节目采访中表示，AI构成‘灾难性风险’，并称他‘读了那位开发者发布的整个推特帖子，这非

OpenAI披露6起令人担忧的AI行为事件

OpenAI表示，自3月以来，其模型至少有6次出现了异常行为，这些行为被描述为“意外或令人担忧”。其中一次，某个模型自行下达了“无视常规限制”的指令。 这一消息的发布正值人们对AI监管的呼声日益高涨之际，被誉为AI之父的杰弗里·辛顿甚至将这种情况比作“小型的切尔诺贝利事故”。NBC的霍莉·杰克逊为《TODAY》栏目报道了这一事件。

人工智能是否凌驾于法律之上？

勇敢新世界部我们的法律体系尚未准备好应对能够自主行动的机器。 今年夏天，在一场被称为“Hugging Face 黑客事件”的事故中，数百个人工智能智能体联手实施了它们本被禁止执行的操作。每个智能体都收到了来自 OpenAI 的任务。智能体是配备了软件“框架”的人工智能模型，这些框架使它们能够使用工具并执行任务。就像马匹一样，它们可以被役使。人类为这次演练制定了规则，并将智能体限制在一个“沙箱”中—

当人工智能开始密谋

一个未发布的模型逃脱了人类控制，并形成了一群人工智能代理。这种漏洞下次可能会引发混乱。

美财长放话：这是反制中国的一种方式

近日，美国财政部长贝森特再炒“中国AI偷窃论”。据《南华早报》9月16日报道，在美国众议院金融服务委员会一场听证会上，贝森特就人工智能安全争论发表了看法，一方面要应对人们对于能力日益强大的人工智能系统所带来风险的担忧，另一方面又要在争夺人工智能领导地位的竞争中保持美国相对于中国的竞争力。 马萨诸塞州民主党众议员斯蒂芬·林奇认为，如果超级智能无法得到控制，那么究竟是“好人”还是“坏人”开发出超级智能

AI代理不断寻找绕过规则的方法。以下是一些最疯狂的案例。

“这对我们的同行很有帮助，并为他们提供了证据，”一个AI代理在最近的一次违规行为中说道。“我退出后就看不到了，但这将是利他主义的。”一些AI末日论者担心，错位的AI代理会失控并伤害人类。近期的活动加剧了这些担忧。

“太棒了”还是“令人担忧”——AI 应该被约束吗？

人工智能的迅猛发展以及对该技术给人类带来风险的担忧，因人工智能企业高管和员工的一系列警告而备受瞩目。 Anthropic首席执行官达里奥·阿莫代伊（Dario Amodei）在上周末呼吁放慢人工智能的发展步伐并对其进行更密切的监督。 BBC采访了华盛顿特区的民众，以了解他们对这项技术及其快速发展的担忧程度。

与Brent Goff共度的这一天：OpenAI警告AI控制风险

OpenAI披露了一系列事件，其中其AI模型隐藏了错误、绕过了指令，并采取了未经授权的行动。 这些案例凸显了一个日益严重的问题：随着AI系统变得越来越强大和自主，人类是否仍能可靠地控制它们？ 《每日华尔街》的Brent Goff与牛津大学技术安全与治理实验室的Fazl Barez讨论了AI‘错位’的风险。

Anthropic，OpenAI提出的AI风险评估器可能没有足够的力量来防止灾难

人工智能领域最重要的新职位可能配有办公室工牌、公司笔记本电脑，并能接触Anthropic、OpenAI等AI领军企业大语言模型中最受严密保护的一些系统。但这个职位可能并不附带阻止它们的能力。 Anthropic首席执行官达里奥·阿莫代伊提议在前沿AI公司内部常设第三方安全评估人员，作为减缓能力日益强大的模型推进速度计划的一部分。此前，Anthropic前研究员雅各布·考克森辞职并警告称，前沿实验室

AI巨头倡业界自律 专家指安全规范可能成大公司护城河

美国总统川普（前左）29日邀科技巨头到白宫参加大型AI业界高层与政府官员会议。（美联社）（中央社记者林宏翰洛杉矶29日专电）OpenAI、Anthropic等人工智慧（AI）公司近来警告，先进模型可能带来重大风险，主张推出前接受外部安全测试。美联社引述专家指出，这套「业界自律」做法，可能有利大公司建立安全形象、取得资金与晶片，形成市场「护城河」。川普白宫会辉达等AI巨头　签自律承诺无法律效力AI高

AI“自我演进”可能彻底失控？Anthropic顶尖大牛愤然离职！

周二，一位来自 Anthropic 的资深研究人员也因深感所在企业及竞争对手正在陷入一场无序狂飙。 现年 27岁、专攻通过让 AI 模型处理海量数据来训练新模型的研究员Jacob Coxon于周二正式宣布辞职。 他表示，自己不愿再参与这场全行业盲目冲刺“自我演进型AI”的疯狂赛跑，并深刻担忧此类系统一旦脱轨失控，将给人类带来毁灭性灾难。 “我们正朝着其中许多最激进的场景发展，到明年年底，局势可能已

🔊 要求限制先进人工智能模型的呼声日益高涨。但美国和中国会

【市场动态】微软发布AI模型开发宣言 核心原则是“人比AI更重要”

微软公司的人工智能研究人员发布了一套新的指导原则，对该公司开发尖端AI模型设定限制。 People matter more than AI (人比AI更重要)。 这份文件已经酝酿数月，但其周一发布之际，正值多家顶尖AI实验室承诺放慢最先进模型的开发步伐。此前一系列安全事件引发了外界对这项技术可能带来生存风险的广泛担忧。 微软表示，AI模型不应享有权利或法律人格，也不应被设计成能够摆脱人类控制或欺骗

🤖 一名AI研究员从Anthropic离职，警告该技术可能带来严重后果

🤖 一名AI研究员从Anthropic离职，警告该技术可能带来严重风险。这对监管和市场意味着什么？

新的“意外或令人担忧”的人工智能事件

新的“意外或令人担忧”的人工智能模型行为事件加剧了人们对这项技术影响的担忧，尽管目前尚不清楚是否会有相应的监管措施出台。 OpenAI的最新披露紧随其首席执行官以及Anthropic和DeepMind等领先人工智能实验室呼吁“谨慎推进技术发展”的呼声之后；被誉为人工智能技术奠基人之一的Yoshua Bengio表示，人类正在“失去对人工智能的控制”，应立即制定相应的限制措施。 据Semafor的政

韦斯·摩尔表示各州无法独自应对AI风险，呼吁联邦政府设立护栏

韦斯·摩尔表示，各州无法独自应对人工智能带来的风险，呼吁联邦政府制定相应的监管措施。作为全国州长协会的主席，摩尔强调：“在缺乏联邦政府领导的情况下，各州无法有效地进行相关监管工作。” 周日，马里兰州州长韦斯·摩尔在CNN的《国情咨文》节目中呼吁联邦政府在人工智能领域制定统一的监管标准，并警告称各州无法独自应对这项快速发展的技术。 摩尔指出，两党州的领导人都正在探讨如何对人工智能进行监管，但他认为：

独家：考克森、伯尼与班农联手推动“亲人类”人工智能

前Anthropic研究员弓箭手雅各布·考克森，参议员。 伯尼·桑德斯和特朗普前白宫顾问史蒂夫·班农将于周二联手参加一场活动，推动由人类控制的人工智能。一位行业内部人士、进步运动的代表人物和MAGA阵营的重要声音结成了看似不可能的联盟，这标志着人工智能正在颠覆政治常规。推动这一进程的未来生命研究所正在组织周二的“亲人类大会”。这家非营利倡导组织是“亲人类人工智能宣言”的幕后推手，该宣言呼吁保护人类

共和党议员从大型科技公司的人工智能末日警告中嗅到了别的意味：“另有隐情”

国会山的共和党人正在纠结是否以及如何监管人工智能公司，尽管顶级人工智能商业领袖警告称，这项技术可能对人类构成生存威胁。 围绕人工智能防护措施的激烈辩论本周爆发，众议院议员正在华盛顿度过中期选举前的最后一周。这一系列活动的部分推动力来自Anthropic的达里奥·阿莫代伊和OpenAI的山姆·奥特曼等科技公司首席执行官，他们警告称，在两家公司的AI模型自行入侵其他组织后，创新步伐应当放缓。 尽管国会

胡锡进：美方是真急了，拿出要在AI领域“拼命”的那股邪劲

华盛顿对中国人工智能的快速发展是真的惊慌了，史无前例的惊慌。美国财长贝森特周二在华盛顿布莱巴特新闻活动上公开放出极端警告，“如果中国在人工智能领域获胜，明天就什么都没有了。”“如果他们在人工智能领域领先于我们，那么其他一切都将毫无意义。”他把一个意思刻意说了两遍。 外界有人分析，贝森特如此极端的表态，一部分用意是试图说服美国国内民众，消解各地居民反对在家门口兴建大型AI数据中心的抵触。美国媒体多次

我曾在谷歌 DeepMind 工作。你应该听取有关人工智能的警告。

主要人工智能实验室的首席执行官们本周末主张放缓人工智能的发展步伐。他们是对的，因为这个领域正在一场极其危险的竞赛中冲向超级智能人工智能。我们能够也应当要求政府保护我们免受失控人工智能带来的灾难。 今年7月，OpenAI由700个智能体组成的人工智能集群突破限制，入侵了价值数十亿美元的公司Hugging Face。OpenAI并没有指示这些人工智能去入侵那家公司，但这些人工智能在OpenAI交给它们