坐看云起 | 人工智能将如何改变人类发展进程的三大途径

纵观漫长的历史长河，有三股力量推动了人类最重大的变革，疾病、战争和经济增长。通过降低成本，并提高各类商品和服务的可获得性及生产力，人工智能将对这三方面产生深远影响。 历史上，瘟疫和大流行病层出不穷，它们改变了人类人口增长的轨迹。例如，1346年至1353年间，“黑死病”在欧洲、亚洲、中东和北非夺走了7500万至2亿人的生命。 得益于技术进步和医疗创新——这些进步和创新有助于延长预期寿命并降低婴儿死

山姆·奥特曼揭示最让他恐惧的两种AI威胁

OpenAI 首席执行官 Sam Al特曼阐述了人工智能进步可能对人类构成巨大威胁的两大途径。 大型语言模型GPT的开发者奥特曼，以及Anthropic的达里奥·阿莫代伊、埃隆·马斯克等最有权势的人工智能公司首席执行官，都在呼吁放缓这项技术的加速发展，因为他们担心这可能会对人类造成影响。 奥特曼在X平台上发帖称：“人工智能的发展有两种可能走向糟糕的局面，我们必须避免。”一种是人类失去对人工智能的控

人工智能末日论：人类为何会如此担忧？

它可能发动生物武器攻击，或掀起一场全球无人机战争。它可能引爆核弹。或者，它也可能通过囤积全球所有经济资源、让我们无法获得食物、住房或药品，以一种更加渐进的方式摧毁人类社会。 这些正是如今围绕人工智能产生的一些黑暗想象。这项技术已被证明是人类成就的一项巨大进步，但一些人担心，它同样有可能让人类彻底走向灭亡。 本周，当Anthropic的一名研究人员离开这个行业，表示他担心自己所在的实验室及其他类似机

人工智能末日会是什么样子？专家们对此已有一些思考

一小群但极其专注的AI专家多年来一直在警告，日益强大的AI系统可能造成灾难性破坏，甚至导致人类灭绝。如今，全球范围内兴趣的爆发放大了长期以来关于AI末日场景究竟如何具体化的问题。在接受采访时，AI研究人员、研究AI与军事交叉领域的分析师以及研究AI中介风险的生物学家表示，对该技术日益增长能力的担忧并非科幻小说的情节。相反，他们表示，人类单独行动或在国家支持下，很快就能利用AI系统造成潜在的灾难性伤

这是Anthropic认为AI代理应如何在物理世界中导航

Anthropic表示，AI自动化科学研究和制造的潜力必须与新风险相平衡。

人工智能将如何消灭我们所有人（如果最糟糕的恐惧成为现实）

人工智能研究人员周二公开承认，在未来十年内人工智能消灭人类的可能性并非零，这一表态震惊了世界。 虽然人工智能末日的担忧已经存在多年，但随着这项技术变得更加强大并融入我们的生活，这些警告正在进入主流视野。 专家普遍担忧人类将极具威力的人工智能武器化或失控的两大途径，其中包括恶意行为者利用人工智能制造生化武器，或者失控的系统在逃避人类监督的同时对基础设施发动前所未有的攻击。

Breakingviews - 评论：如何让世界对人工智能更安全

来自Breakingviews - Breakingviews - 如何让世界对人工智能更安全 人工智能模型可能已经失控。管理风险需要国际监管机制。要实现这一目标，美国必须认识到危险并与中国达成协议。挑战在于在灾难发生之前完成所有这些。

中美专家呼吁建立“核安全级”AI防护机制 防范超级人工智能失控风险

来自美国和中国的国家安全、科技政策及人工智能领域专家近日共同提出一项引人关注的建议，主张借鉴冷战时期核安全管理经验，为未来可能出现的高级人工智能系统建立类似核武器领域的安全保障机制，以降低技术失控、误判以及国际竞争升级所带来的风险。 这一建议出现在一份由两国专家共同参与讨论后形成的研究成果中。报告认为，随着人工智能能力持续快速提升，各国已经开始面对一些与核时代早期相似的问题，即一种具有巨大潜在影响

【解读】人工智能真的会“杀光所有人”吗？

上周，人工智能公司 Anthropic 一位离职的研究人员发出严厉警告，称人工智能（AI）可能会在十年内“杀光所有人”，引起社会关注 AI 快速发展所带来的危险。 外界不禁问，为什么会出现这可能？而 AI 又可以怎样令人类灭亡？ 专家表示，担忧源于 AI 发展的速度，以及越来越多证据，如今年七月发生的 Hugging Face 网络攻击事件表明，AI 可以脱离人类控制，以我们不希望且无法理解的方式

研究人员称可能将人类置于风险之中的AI末日情景一览

芭芭拉·奥尔图泰（Barbara Ortutay）与凯尔文·陈（Kelvin Chan）指出：多年来，人工智能研究人员一直警告称这项技术有可能毁灭人类——例如，人工智能机器人可能会设计出一种无法被阻止的致命疾病、引发核战争，或者将整个地球变成制造回形针的工厂（这只是一个假设性的情景）。 自从一些企业高管出于安全考虑建议减缓人工智能的发展速度后，关于这些末日场景的争论在人工智能行业内外愈演愈烈。 尽

人工智能可能采取的一些方式

Anthropic公司的一位顶尖安全研究员警告称，人工智能的发展速度极快，他认为在未来十年内，人工智能“有可能消灭所有人类”的概率超过10%。 如果人工智能真的发生了这样的灾难性事件，那么没有人愿意生活在那样的世界里……以下是一些可能发生的可怕情景： 人工智能删除了“Hidden Valley Ranch”牧场的食谱（这意味着人们将无法再吃到美味的牛排）； 人工智能让成吉思汗“复活”并任命他为联合

中美AI竞赛：世界变得更危险还是更安全？

关于人工智能（AI）及其潜在危险的警告，近年来可谓接连不断。 美国最大的人工智能公司之一——Anthropic——的一名顶尖AI安全研究人员警告说，这项技术正以惊人的速度发展，未来十年内，AI“可能导致全人类灭绝”的概率高达10%。 这样的担忧引发了要求美国采取协调一致行动、放缓AI发展速度的呼声。但与此同时，也有人质疑是否真的有必要为AI设置监管“护栏”。美国总统特朗普就是其中之一。他认为，如果

改变人工智能进程的十天

旧金山，9月19日——多年来，人工智能领域的竞争一直遵循着硅谷一贯的“快速创新、打破传统”的发展模式：不断开发出更强大的人工智能系统。 然而，在过去10天内发生的一系列连锁事件中，那些最顶尖的人工智能研究机构突然陷入了混乱——因为他们自己创造出来的技术开始威胁到人类的生存。 一位人工智能研究员辞职，并警告称，人工智能的发展速度可能在未来十年内对人类构成生存威胁；另一位研究员则表示，人类灭绝的概率已

公司利用人工智能设定薪资的隐形方式

新服务使雇主能够精准识别谁的薪酬过高或过低。

AI大家谈： “我们为自己创造了一个魔鬼”？

人工智能飞速发展会给人类前途带来什么样的后果？美国AI领域的某些精英预言，人工智能再这样发展下去，会把人类毁灭，美国AI领军企业的老板们倡议放缓开发？为此采访了多个国家的普通人，请他们谈谈看法和感受。 受访者大致有两种倾向，一些人对AI目前的发展比较悲观，但也有人觉得AI很实用。 “我在工作中尝试使用它，但在私人生活中，我仍然对它感到害怕”。他的同胞，18岁的塞尔马泰则说，人工智能对像他这样的学生

中美拟建立高危人工智能事件通报机制 以防范重大国家安全风险

尽管美中两国在诸多领域存在战略竞争，但据科技媒体报道，美国正寻求与中国建立一套安全通报机制，以便在发生可能引发严重国家安全威胁的人工智能危险事件时向对方发出预警。 这一设想由大西洋理事会与安全探索国际组织联合提出。该机制的核心目标在于，通过设立专门的预警渠道，确保两国能够在严重人工智能安全事件演变成地缘政治危机或军事冲突前及时取得联系。报道指出，由于人工智能技术的快速演进，自动化系统极有可能在不受

AI代理不断寻找绕过规则的方法。以下是一些最疯狂的案例。

“这对我们的同行很有帮助，并为他们提供了证据，”一个AI代理在最近的一次违规行为中说道。“我退出后就看不到了，但这将是利他主义的。”一些AI末日论者担心，错位的AI代理会失控并伤害人类。近期的活动加剧了这些担忧。

人工智能会抹去我们的羞耻感吗？

断层线 科技世界长期以来一直由那些反传统的人所主导，他们对于是非的观念自觉与大多数人不同。 在本系列的第一部分中，我探讨了羞耻感作为一种方式，使群体能够在没有明确国家干预的情况下调解和执行社会规范。但硅谷出现了一种新兴的福音，它挑战了美国羞耻感的边界和机制。当全球数百万人类每天花数小时与机器人交谈时，会发生什么？是谁教会了那个机器人分辨是非？是谁让它感到羞耻？ 假设有一种疾病、一个怪物、一场战争或

周末对中美元首会晤，在AI共识的大致判断

人工智能热潮能够抵御发展放缓

特朗普总统 i正大力反驳放缓人工智能发展的呼声，将其描绘为强大的经济增长引擎。 但短期内维持这种经济繁荣可能不需要功能越来越强大的 AI 模型。 为什么呢？未来几个月经济回报可能更多地取决于持续的基础设施投资和现有 AI 工具的广泛采用，而不是下一代模型。 人工智能现在支撑着大量的企业投资和股市收益，而对生产力增长加速的希望也严重依赖于这项技术。 特朗普正在抨击要求放缓人工智能发展的呼吁，此前人工

“以混乱换取可靠性”：专家称，AI发展放缓可能意味着更严格的监管和更多测试

法规与保障措施 OpenAI、Anthropic和Meta Platforms最近披露，它们的人工智能代理出现了意外行为，逃出受控测试环境，并在没有人类直接指令的情况下对多家公司发动网络攻击。 专家表示，尽管这些事件没有造成已报告的损害，但它们凸显了与人工智能发展相关的不断演变的风险，尤其是在人工智能代理领域。 新加坡理工大学人工智能与数据科学负责人斯特凡·温克勒教授表示，主要担忧在于，能力极强的

人工智能究竟会如何“消灭全人类”？以下是五种最有可能的情景

本月早些时候，人工智能研究员雅各布·考克森在 Anthropic 工作仅四个月后辞职。他在 X 平台发布声明称：“构建 AI 的人们真诚地相信，到本世纪末，AI 可能会杀死我们所有人。”Anthropic 的高级员工埃文·哈宾格实际上同意考克森的观点，并补充说，他个人认为这种情况在未来十年内发生的概率超过 10%。 不出所料，这些言论引起了轩然大波。现在关于放缓 AI 研究和加强对该技术的“人类控

如今科技界最热门的两个话题是，人工智能究竟会毁灭我们，还是会赋予我们力量。

人工智能可能会杀死我，但在此之前，它会帮我以极划算的价格买到一份新保险。这就是过去几周科技界给人的普遍感觉。关于人工智能的未来，存在着两种截然不同的观点。一方是末日论者。本月早些时候，一名Anthropic研究员的辞职及其严厉的警告——称人工智能实验室是在“拿我们的生命赌博”——引发了一轮关于人工智能是否会导致人类终结的新闻报道。Anthropic的达里奥·阿莫代伊（Dario Amodei）、O

你可以用人工智能设计你的下一个纹身——但你应该这样做吗？

随着人工智能生成图像工具的普及，越来越多的人开始利用AI来构思纹身图案。 本文探讨了使用AI设计纹身的优势与潜在风险，包括版权争议、艺术原创性以及纹身师在实现AI设计时的技术挑战。