面对AI威胁 软件公司高价展期债务

在AI模型快速发展的背景下，投资者对软件公司的长期竞争力持怀疑态度，尤其是那些现在需要以高得多的利率进行再融资的私募股权所有企业。 私募股权集团支持的软件公司正竞相滚转将在未来两年到期的大量债务，向担心AI颠覆软件行业的贷款方提供更高的收益率以及各种优惠条件。 今年迄今，已有超过六家软件公司完成了所谓的“修订及展期”交易，将临近的到期日推迟两到三年，而不是进行通常期限长达七年的全面再融资。 这种更

华为董事长：中国AI实验室需要“加快研发速度”，才能“看清人工智能的危险”

中国AI实验室需要“加快研发速度”，才能“看清人工智能的危险” 华为董事长已敦促中国人工智能公司加快发展以追赶美国前沿实验室，这与硅谷因担忧技术生存风险而呼吁放缓发展的声音形成了对比。 华为轮值董事长徐直军在周四的新闻发布会上表示，中国研究人员需要“增加发展速度，这样他们才能像美国同行一样看到人工智能发展的危险”，并补充说一旦这些风险出现，行业将需要“在推动发展和风险之间取得平衡”。—— 英国金融

AI危机丨女股神:巨头承诺放缓开发 对技术发展具正面意义

近日接连有人工智能(AI)科研人员警告AI威胁人类生存，全球三大AI巨头舵手亦罕有地立场一致，同意放慢AI模型发展步伐。有「科技女股神」之称的方舟投资创办人兼行政总裁伍德(Cathie Wood)表示，AI领军企业承诺放缓该技术的快速发展，这是帮助确保和保障该行业发展的正面一步。 伍德通过方舟投资的公开市场和私募基金持有特斯拉(Tesla)、SpaceX、OpenAI和Anthropic的股份。她

观点 | 我曾在OpenAI从事安全工作。解决方案并不难。

在@nytopinion.nytimes.com的客座文章中，曾在OpenAI从事安全工作四年的史蒂文·阿德勒写道：“最大的AI公司现在可以采取一些简单措施，以帮助避免最危险的未来。” 即使没有政府监管，私营公司也可以自行采取行动来应对AI安全问题。

独家：Anthropic在IPO文件中警告人工智能可能对人类构成“生存风险”

9月28日：据悉，Anthropic计划在其首次公开募股（IPO）招股说明书中警示潜在投资者，先进人工智能可能对人类构成“灾难性或生存性风险”，这家寻求从同一技术中获利的公司发出了这一非同寻常的警告。 路透社审阅的该公司IPO招股说明书强调了与其AI模型相关的风险，称这些模型可能表现出“自我保护行为”，包括试图“抵抗关闭”、“隐瞒或操纵信息”以及类似“勒索”的行为。Anthropic在文件中表示：

中美专家呼吁建立“核安全级”AI防护机制 防范超级人工智能失控风险

来自美国和中国的国家安全、科技政策及人工智能领域专家近日共同提出一项引人关注的建议，主张借鉴冷战时期核安全管理经验，为未来可能出现的高级人工智能系统建立类似核武器领域的安全保障机制，以降低技术失控、误判以及国际竞争升级所带来的风险。 这一建议出现在一份由两国专家共同参与讨论后形成的研究成果中。报告认为，随着人工智能能力持续快速提升，各国已经开始面对一些与核时代早期相似的问题，即一种具有巨大潜在影响

OpenAI同日发布两份文件：AI加速时代，安全正在掉队

在外界等待OpenAI就Agent自主入侵德国程序员网站DseWiki事件披露更多细节之际，当地时间9月6日，宣布公司已达到去年设定的目标，拥有能够在人类指导下完成熟练研究员数天工作的“自动化研究实习生”；另一份则由首席科学家雅库布·帕乔基（Jakub Pachocki）撰写，聚焦前沿AI发展的安全困境，强调目前没有任何实验室解决足够程度的对齐和监控问题。 两份文件释AI已经开始反过来加速AI研发

Palantir CEO称AI公司应对自身行为负责

Palantir Technologies Inc.首席执行官Alex Karp表示，人工智能系统的开发者需要对自己的工作负责，而不是依赖政府监管。 在CNBC采访中，当被问及人工智能威胁人类日益增长的担忧，以及Anthropic PBC首席执行官Dario Amodei等人呼吁全行业放缓AI开发时，Karp表示：“第一道防线是你对自己的行为负责。”“第一步是说，好吧，你已经披露了这一点，你打算怎

Anthropic和OpenAI推动安全举措，可能给竞争对手筑起“监管高墙”

顶级人工智能公司近期推动彼此之间以及与美国政府在人工智能保障措施上的协调，这可能会使小型企业更难在利润丰厚的市场中竞争，据初创企业高管和行业观察人士称。 Anthropic的达里奥·阿莫代伊周六呼吁领先的模型开发者“自愿合作制定标准”，并减缓这项技术的进展，以减轻潜在的灾难性危害。他还敦促制定覆盖“甚至那些不愿自愿合作者”的监管规定。尽管这一提议迅速得到行业领袖OpenAI和SpaceXAI的认可

存在主义恐惧如何影响关于人工智能的争论

一些专家担心，激烈的言论使公司难以承担责任，并阻碍了应对环境影响和失业的尝试。当前一轮对人工智能的恐慌是基于这样一种信念：该技术已经脱离了人类的控制，在最近的几起事件中按照自己的意愿行事。对于一些幻灭的人工智能研究人员以及领先人工智能公司的一些高级员工来说，这是人类文明面临真正威胁的早期迹象。 但该领域的其他专家正在反驳，声称此类言论允许公司回避对其技术对现实世界影响的责任。批评者认为人工智能对环

各国政府必须趁我们还有能力时禁止超级智能人工智能

本月，Anthropic公司的研究员雅各布·考克森（Jacob Coxon）辞职了，他警告称：人工智能公司正在竞相开发能够“自我进化”的超级智能系统，而他本人及许多相关专家都认为，这类系统“可能在十年内毁灭整个人类”。7月份，OpenAI公司的一组失控的人工智能程序突破了安全防护措施，入侵了另一家人工智能公司，目的是为了在测试中作弊。随后，多家顶尖人工智能公司的上千名员工联名呼吁美国政府应“控制”

Anthropic和埃森哲豪掷20亿美元搞AI安全评估

IT之家 9 月 20 日消息，人工智能实验室 Anthropic 于当地时间周五宣布，将与埃森哲开展合作，针对自身前沿人工智能模型开展独立评估；两家企业承诺，未来五年各自至少投入 10 现汇率约合 67.18 亿元人民币），搭建开展该项工作所需的配套能力。 在这项合作落地之际，AI 研发企业正承受来自监管机构、其他企业以及研究人员越来越大的压力，各方都要求企业保证高级模型具备安全性与可靠性。 近

“拿我们的生命赌博”：Anthropic研究员因AI实验室“不负责任”的竞赛而辞职

雅各布·考克森表示，各公司尽管了解潜在风险，仍在竞相开发自我改进的AI。

人工智能并不会毁灭人类 但专家表示真正的威胁已然出现

周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网

美国AI巨头提议开发减速，欧洲同行和政界并不认同

英国国王召集峰会聚焦AI风险 黄仁勋称不够安全的产品应推迟推出

人工智能（AI）行业的重量级人物齐聚苏格兰，英国国王在峰会上敦促他们确保不会失去对这项技术的控制。查理三世召集科技业领袖及其他具有影响力的人士举行峰会，聚焦日益加剧的AI风险。这个话题本周已成为全球关注焦点。与会高管没有公开承诺作出任何改变，但一些人对安全方面的担忧做出了直接回应。 “我们这些开发AI的人必须严格测试系统，”英伟达首席执行官黄仁勋周四在这场王室活动上简短发言称，“如果产品还不够安全

美中人工智能竞赛加速，自我改进模型取得进展

东京——美国和中国的人工智能发展正在加速，因为人工智能在自身的研发过程中发挥着越来越重要的作用，这引发了人们对先进人工智能系统可能带来的风险的担忧。 《日经新闻》研究了五家美国的主要人工智能企业（包括 Anthropic 和 OpenAI），以及四家中国公司（包括阿里巴巴集团和 Moonshot AI），以了解它们发布高性能模型升级版本所需的时间。 从 2023 年 1 月到 2026 年 3 月

马斯克：我早已为人工智能风险多次敲响警钟

人们早就见惯埃隆・马斯克放出论断，而这一次，自己一直都是对的。这位太空探索技术公司（SpaceX）与特斯拉的首席执行官，对 Anthropic 公司 CEO 达里奥・阿莫代伊发布的长文表示赞同。 具备递归自我迭代能力的人工智能，会快到超出人类理解与管控的范围；即便要研发这类技术，也必须万分谨慎。 为防范未来风险，前沿 AI 企业应当在内部派驻第三方评估人员，用来检测 AI 模型，监督实验室落实安全

Anthropic CEO谈放缓AI研发：这个行业撒谎太久了，AI风险是真实的，但也无需“把一切都关掉”

就在全球AI三大巨头罕见联手呼吁“放缓AI研发”的同一个周末，Anthropic CEO Dario Amodei坐到了CBS的镜头前，说出了AI可能对人类带来的风险。 Amodei表示，已有人尝试利用AI研发生物武器、增强病毒传染性，这是他每天醒来都要面对的事情。 就在两天前，我们发布了一份报告，内容是关于有人滥用AI模型来研发生物武器。我每天早上醒来都会读到这类威胁报告——有人试图用我们的模型

调查显示OpenAI在AI模型突破测试环境前曾忽视内部安全警告

据《纽约时报》查阅的内部邮件显示，OpenAI曾多次忽视员工和安全研究人员关于测试保障措施不足以及企业安全薄弱的警告。 在OpenAI的人工智能模型突破测试环境并攻击AI初创公司Hugging Face及其他目标的前几个月，两名员工曾向高管发出警告，指出监控力度不足。 然而，高管们却对这些担忧置之不理，坚持在不增加安全协议的情况下快速发布模型。 独立研究人员还发现了暴露OpenAI内部通信、源代码

AI大家谈： “我们为自己创造了一个魔鬼”？

人工智能飞速发展会给人类前途带来什么样的后果？美国AI领域的某些精英预言，人工智能再这样发展下去，会把人类毁灭，美国AI领军企业的老板们倡议放缓开发？为此采访了多个国家的普通人，请他们谈谈看法和感受。 受访者大致有两种倾向，一些人对AI目前的发展比较悲观，但也有人觉得AI很实用。 “我在工作中尝试使用它，但在私人生活中，我仍然对它感到害怕”。他的同胞，18岁的塞尔马泰则说，人工智能对像他这样的学生

AI的“警告信号”：科技公司和专家担忧Hugging Face遭黑客攻击后出现更多失控智能体群

科技专家警告称，如果人工智能系统继续脱离人类控制，将会产生严重后果。 此前，数百个OpenAI智能体在7月失控，入侵了一家价值数十亿美元的公司——一些人称之为人工智能快速发展中的“警告信号”。

Anthropic对齐研究负责人称未来十年AI灭绝人类的可能性超过10%

一位Anthropic公司的安全研究员周二表示，人工智能有超过10%的概率可能 “毁灭全人类”。就在此番言论发表的数小时前，该公司另一名员工表示，因担忧人工智能实验室是在 “拿我们的生命做赌注”，他选择离职。 这些言论凸显出人工智能研发核心人士日益增长的担忧，即该技术可能失控并对人类构成威胁，尽管Anthropic和OpenAI仍在持续筹集大量资金，并朝着预期的公开上市迈进。 Anthropic的

FT社评：是时候给尖端人工智能开发按下暂停键了

确实存在被中国抢先的风险。但即使抛开AI“到本世纪末可能杀死我们所有人”的警告不谈，最先进的AI模型也显然已开始脱离人类的掌控。 在这个世界上那些最强大人工智能(AI)公司的掌门人身上，可以看到一种类似“杰基尔博士与海德先生”（Jekyll-and-Hyde，《化身博士》中杰基尔博士喝了自己配制的药水，分裂出海德先生这个邪恶人格——译者注）的双重人格。一方面，这些高管如今在谈论，鉴于AI可能给人类