人工智能安全辩论

中美AI竞赛：世界变得更危险还是更安全？

关于人工智能（AI）及其潜在危险的警告，近年来可谓接连不断。 美国最大的人工智能公司之一——Anthropic——的一名顶尖AI安全研究人员警告说，这项技术正以惊人的速度发展，未来十年内，AI“可能导致全人类灭绝”的概率高达10%。 这样的担忧引发了要求美国采取协调一致行动、放缓AI发展速度的呼声。但与此同时，也有人质疑是否真的有必要为AI设置监管“护栏”。美国总统特朗普就是其中之一。他认为，如果

中美拟建立高危人工智能事件通报机制 以防范重大国家安全风险

尽管美中两国在诸多领域存在战略竞争，但据科技媒体报道，美国正寻求与中国建立一套安全通报机制，以便在发生可能引发严重国家安全威胁的人工智能危险事件时向对方发出预警。 这一设想由大西洋理事会与安全探索国际组织联合提出。该机制的核心目标在于，通过设立专门的预警渠道，确保两国能够在严重人工智能安全事件演变成地缘政治危机或军事冲突前及时取得联系。报道指出，由于人工智能技术的快速演进，自动化系统极有可能在不受

OpenAI首席执行官奥特曼谈人工智能：我们或许会失去控制权

OpenAI 首席执行官山姆・奥特曼，似乎正被自己参与打造的、如同噩梦一般的人工智能产物深深困扰，甚至难以安睡。美国东部时间凌晨 0 点 57 分左右，奥特曼在 X “人工智能的发展存在两种必须规避的灾难性走向。第一，我们可能会对人工智能失去对未来的掌控。这是无法接受的。我们坚定站在人类一方，人工智能必须始终服务于人。想要做到这一点，我们必须保证对齐技术与安全手段的发展速度，跑在模型能力迭代的前面

美参议院酝酿AI监管立法：要求AI公司证明已采取安全措施防止伤害

要求AI公司证明已采取安全措施防止伤害据一名参议院助手和一位熟悉谈判情况的说客透露，美国参议院谈判代表正在讨论一项立法，该法案将要求AI公司证明其已采取合理预防措施，以防止其工具造成伤害。 据这名参议院助手和说客透露，参议员们正在讨论赋予美国商务部长一项权力，要求AI开发商证明其已采取合理措施防止伤害，这种要求被称为 “注意义务”。商务部长还将有权派遣政府审查人员亲自测试企业产品。该提案正在由参议

人工智能末日论：人类为何会如此担忧？

它可能发动生物武器攻击，或掀起一场全球无人机战争。它可能引爆核弹。或者，它也可能通过囤积全球所有经济资源、让我们无法获得食物、住房或药品，以一种更加渐进的方式摧毁人类社会。 这些正是如今围绕人工智能产生的一些黑暗想象。这项技术已被证明是人类成就的一项巨大进步，但一些人担心，它同样有可能让人类彻底走向灭亡。 本周，当Anthropic的一名研究人员离开这个行业，表示他担心自己所在的实验室及其他类似机

美议员提出重磅AI监管法案：拟禁止“自我递归进化”AI 设立专门监管机构

美国加州民主党众议员罗·卡纳即将向国会提交一项全面人工智能监管法案，希望对前沿AI技术建立迄今最严格的联邦监管框架。该提案不仅要求实施严格责任制度，还计划禁止具备“递归自我改进”能力的人工智能系统投入使用，直到联邦政府建立完整安全保障体系为止。 这项法案被命名为《人类控制人工智能法案》（Human Control Over AI Act）。法案出台背景正值美国科技界和政策界对于先进人工智能潜在风险

世界领导人权衡人工智能担忧与监管

人工智能领袖们将在今天晚些时候的紧急会议上向联合国安理会通报情况。 此次会议召开之前，数周来一直有警告称人工智能可能带来无法控制的风险。德拉诺·德索萨报道。

联合国人权事务高级专员警告：人工智能可能对人类构成“生存威胁"

联合国人权事务高级专员沃尔克·图尔克（Volker Türk）周一（9月7日）警告称，人工智能可能变得足够强大，足以威胁人类，并表示他将在未来几天敦促各公司降低风险。 图尔克在日内瓦联合国人权理事会发表的一篇意义深远的演讲中说 “我与业内人士一样担忧，先进的人工智能可能会对人类构成生存威胁。” 即将于下个月开始第二个任期的图尔克呼吁“必须全力以赴，在为时已晚之前，为人工智能的安全保障建立铁一般的保

超级智能即将到来。我们该允许它吗？| TechCrunch

AI公司一直在谈论超级智能AI，仿佛它不可避免，但最近的安全事件，如OpenAI的Hugging Face漏洞，正展示出部署比人类更有能力的AI系统可能带来的潜在危险。那么，当我们无法可靠地控制这些系统的行为时，会发生什么？ 在本期TechCrunch的Equity播客中，Rebecca Bellan邀请了AI研究员、企业家、如今担任非营利组织ControlAI美国执行总监的Connor Leah

Anthropic警告有人用AI研发武器和生物病毒

周四（9月10日），美国顶级人工智能公司Anthropic发布近150页的威胁情报报告称，生成式人工智能（AI）已从实验性工具进入黑客攻击、国家监控、武器研发及高风险生物研究等现实场景。报告多次点名中共相关恶意活动。

国会山议程：随着人工智能辩论转向，英伟达的影响力面临考验

作为全球最大企业的掌舵人，黄仁勋的影响力即将在国会山接受考验，因为围绕人工智能安全的辩论正在不断升温。英伟达首席执行官及其庞大的游说团队希望国会停止限制高端计算机芯片的出口，尤其是向中国出口，因为这些芯片是驱动人工智能发展所必需的基石。立法者可能会将这些监管措施纳入今年秋季即将谈判的年度国防政策法案中。 尽管黄仁勋的团队在过去一年中成功说服部分立法者放松了可能阻碍出口的监管规定，但人工智能政治格局

人工智能的末日威胁：区分事实与恐惧

关于人工智能的末日警告如今充斥着全球新闻。我们该如何将事实与猜测区分开来？ 人工智能研究人员最近的言论已将有关“超级智能”的担忧带入了主流政治辩论。但这些末日预言的可信度究竟有多高？人工智能公司是否真的正在失去对技术的控制？还是说，这些言论正在转移我们对已经发生的危害的注意力，例如虚假信息、网络犯罪、就业流失以及企业权力的集中？ 欢迎加入我们由人工智能研究人员、伦理学家和政策专家组成的多元化小组，

卡纳将提出人工智能安全法案，禁止“递归”技术直至建立保障措施

硅谷的民主党众议员罗·卡纳（Ro Khanna）将提出一项法案，以规范人工智能技术。该法案规定了严格的责任追究标准，并禁止在政府尚未制定相应保障措施之前使用那些能够“自我优化”的人工智能系统。 这项法案的提出，正值华盛顿方面努力加强对人工智能监管的背景下——因为多家科技公司的高层管理人员警告称，这项技术可能失控。迄今为止，国会几乎未采取任何措施来规范人工智能的发展。虽然人工智能正在推动经济发展，但

特朗普与国会抵制日益增长的人工智能监管呼声

科技界领袖正就人工智能的迅猛发展及其对人类构成的潜在威胁发出紧急警报。随着警告称AI模型可能失控并导致人类灭绝，相关担忧已升至顶点，使该技术可能毁灭全人类的恐惧正式进入主流舆论视野。 为应对上述风险，包括OpenAI、Anthropic和Google DeepMind在内的AI巨头已展开安全对话，并致力于组建行业标准机构。随着业界日益担忧该技术可能很快变得强大到难以掌控，Anthropic与Ope

特朗普下周拟在白宫召集AI行业高管

人工智能（AI）安全和监管，这场源于对人类命运严峻警告的辩论，已在华盛顿和硅谷内部形成了两大阵营——以美国总统特朗普为首的“激进发展派”，以及以“AI三巨头”为首的“慢节奏派”。 AI安全引爆舆论这场舆论风暴最初是由Anthropic的研究员Jacob Coxon引发的。他上周宣布辞职，并指责该公司及其主要竞争对手OpenAI的行为不负责任。曾先后在这两家公司担任研究员的Coxon在X网站上发帖称

川普：如有必要 司法部将对AI进行监管

美国总统川普（特朗普）周一（9月21日）再次对人工智能（AI）毁灭人类论表达质疑，并表示，如果有必要的话，司法部等执法部门可以介入，对AI进行监管。川普周一在社交媒体平台「真相社交」（Truth Social）上发帖说，「谁赢得AI，谁就是赢家！」总统说，「我们目前领先于中国以及其它所有国家，而我会让我们继续保持领先！我不会去扼杀AI的发展——它的影响力将超越工业革命，甚至超越互联网本身。」不过，

伯纳姆表示英国正与美国建立人工智能防务伙伴关系

关于这项技术的重大决策至关重要，绝不能听任偶然因素左右；它们必须由代表劳动人民的民选政府来做出。 安迪·伯纳姆在周二晚上的讲话中表达了这一观点。这是他作为英国首相首次在联合国大会上发表演讲。他在演讲中宣布了三项重要举措： 英国正与美国建立人工智能领域的防御合作机制； 安全部门将着手建立一个国家级机构，以应对来自敌对国家的虚假信息攻击； 人工智能将成为英国明年担任G20主席国期间的核心议

OpenAI因Hugging Face遭恶意AI代理入侵而面临参议院调查

共和党领导的参议院小组委员会负责灾难管理监督。

特朗普称不担心AI会失控：这是一场工业革命

据凤凰卫视报道，美国总统特朗普27日接受采访时被问及是否担心AI可能失控，他回应称完全不会，并指相关业者负有修正问题的责任，“我一点都不担心AI会失控。这是一个庞大的产业。这是一场工业革命，甚至规模更大。如果某件事有问题，他们企业就必须加以纠正……但你绝不能仅因为抱持这种忧虑，就放弃一个价值数万亿美元的产业。”特朗普透露，他将与Anthropic公司首席执行官阿莫代伊讨论业界关于“放缓AI发展”的

在科技之国的中心，选民对AI产生警惕

在科技产业的重心地带，选民们对人工智能持负面态度。根据 Politico 及其合作伙伴的最新民意调查，绝大多数加州选民认为先进的人工智能可能对人类构成威胁。 加利福尼亚州萨克拉门托——即便是硅谷的“后院地区”，也在为人工智能带来的潜在风险做好准备。 根据 Politico 及其合作伙伴的最新民意调查，加州选民对人工智能普遍持悲观态度，他们认为这项快速发展的技术对人类构成了严重威胁。这种担忧在加州这

布卢门撒尔参议员敦促加强人工智能监管：“我们正濒临失控的边缘”

参议员表示，人工智能产品在发布之前应该接受某种形式的“客观审查”。康涅狄格州民主党人理查德·布卢门撒尔，周三告诉CNBC。 这位参议员提出了旨在解决人工智能安全风险的两党立法，强调任何新法规都应该有针对性，并对抑制全球竞争力的担忧保持敏感。 布卢门撒尔在CNBC的“街头尖叫”节目中表示：“我认为这里需要取得平衡，但问题是，现在我们正处于完全失去控制的边缘，”他说。 发表上述言论之际，包括Anthr

在国会呼吁政府立即采取人工智能相关措施的情况下，众议院议员们纷纷返回各自选区开展竞选活动。

众议院周三休会，使得华盛顿几乎可以肯定地将不断升级的人工智能危机相关行动推迟到11月中期选举之后。这一提前散场的举动，发生在顶级人工智能高管几乎恳求华盛顿对他们实施监管之后——此前Anthropic一名研究员辞职，声称这项技术“可能在本十年结束前杀死我们所有人”。但Anthropic和OpenAI寻求被监管的紧迫感，并未转化为国会山上的行动，因为议员们正盯着不到七周之遥的中期选举。 中期选举将决定

记者手记：对人类灭绝的担忧震动国会山，国会与人工智能正面交锋

国会议员本周回到国会山时，完全是一副抓狂的模样。人们设想着种种末日般的情景：AI 夺取供水系统控制权。地铁。空中交通管制。飞机坠毁。发射核武器。甚至把哈里王子和梅根·马克尔送回美国。 但说正经的，人们真正担心的是，国会可能在监管 AI 方面已经落后。还有人担心，AI 的发展速度可能太快，以至于已经来不及驾驭这项技术。长期以来，选民对数据中心的疑虑一直在发酵。 随后，前Anthropic研究员雅各布