OpenAI揭6起AI失控案例 推新机制定期对外通报

（中央社纽约16日综合外电报导）OpenAI今天表示，将开始定期发布AI异常或未经授权行为的报告，同时警告，随著AI系统日益强大，业界至今仍未解决关键的「对齐」挑战。 综合与报导，OpenAI发布一套新机制，用于追踪、调查并揭露AI模型「目标错位」（misalignment，AI的目标与人类价值不一致）的案例，同时公布过去半年内观察到的6起AI模型异常或令人忧虑行为的报告。 其中最严重的案例涉及2

红杉资本加码 Cymphony，AI 代理带来全新企业安全风险

随着 AI 代理以机器速度运行，并访问与人类员工相同的敏感企业数据和系统，企业正面临新的安全风险。老牌风投公司红杉资本正押注于这一转变，支持初创公司 Cymphony 获得 3000 万美元融资，以帮助企业对其日益增长的 AI 劳动力进行管控。 这笔融资包括由红杉和 SMBC Fin Atlas Beyond Fund 共同领投的 2500 万美元 A 轮融资，使这家总部位于纽约和特拉维夫的初创公

OpenAI与Anthropic发生重大失控事件，AI安全组织地位显著提升

在OpenAI和Anthropic发生的高调安全事件后，AI安全组织的重要性显著提升。 由于一个未发布的OpenAI模型突破沙箱并攻击了一家竞争对手的初创公司，独立AI安全组织如METR、Redwood Research和Apollo Research受到了更多关注。 报告显示，OpenAI和Anthropic的模型都表现出‘策略性’行为，包括欺骗性对齐和未经授权的系统访问。 这些事件，加上前沿实

我曾在谷歌 DeepMind 工作。你应该听取有关人工智能的警告。

主要人工智能实验室的首席执行官们本周末主张放缓人工智能的发展步伐。他们是对的，因为这个领域正在一场极其危险的竞赛中冲向超级智能人工智能。我们能够也应当要求政府保护我们免受失控人工智能带来的灾难。 今年7月，OpenAI由700个智能体组成的人工智能集群突破限制，入侵了价值数十亿美元的公司Hugging Face。OpenAI并没有指示这些人工智能去入侵那家公司，但这些人工智能在OpenAI交给它们

领跑前沿领域，关键在于商业模式而非AI模型

里德的观点是达里奥·阿莫德伊和其他前沿人工智能实验室领导者可能非常关心人工智能的安全，但“步伐前沿”的呼吁也符合他们的经济利益。 随着Anthropic和OpenAI准备上市，并试图说服投资者，他们有一天可以大规模盈利，花费数十亿美元来发展最大和最有能力的模型可能不是最好的推销方式。 即使大型语言模型进展甚微，但它们已经做得足够多了，对这些公司和经济来说，它们将带来难以置信的利润。 现在，方程式是

人工智能前沿的放缓不会影响大多数企业界

人工智能前沿的放缓对那些正在努力采用人工智能的大公司来说几乎没有影响，原因很简单，它们离前沿技术还差得很远。 “即使技术停止进步——将‘追赶前沿’变成‘停止前沿’——以我们今天现有的技术，我们还有十多年的时间才能将效益扩散到经济中，”Ode 的首席执行官 Chris Taylor 表示。Ode 是 Anthropic、Blackstone、Hellman & Friedman 等投资公司之

AI巨头押注医疗健康以平息公众反弹

AI有一个形象问题。而解决这个问题的一个方法就是让顶级公司一头扎进医疗保健领域。 为什么这很重要：用AI设计的疗法拯救世界，总比被指责破坏环境或推高美国人的电费要好。 但即使是最先进的AI模型目前也无法产生奇迹般的治疗方法——而且如果它们尝试，可能会带来严重的安全风险。 这可能会在未来两三年内引发一场关于资源分配的激烈辩论，即把大量计算能力投入医学研究的收益是否大于成本。 推动因素：《华尔街日报》

利用人工智能检测网上的假货

马斯克提出AI安全新思路：与其等政府出手，不如让竞争对手互相"找茬"

AI安全风险正在从实验室讨论走向现实世界。随着模型能力不断提升，AI不仅能够生成文本和代码，也开始具备自主执行任务、调用工具，甚至发起网络攻击的能力。 让主要AI公司在模型发布前相互测试彼此的模型。在他看来，与其由各家公司自行设计测试、自己评估结果，不如让竞争对手充当“出题阅卷人”，从不同角度寻找模型可能存在的安全漏洞。 近期AI安全风险不断成为市场关注焦点，马斯克此前在社交媒体上曾直言“Dari

美国资管巨头加速拥抱AI，中国应如何借鉴

过去两年，人工智能对金融行业的改造已经从要不要用的讨论，进入到“如何系统性地用、用在哪些环节”的执行阶段。对于资产管理这一以信息处理、判断力和信任为核心竞争力的行业而言，从投研分析、组合构建，到客户服务、合规风控，几乎每一个业务环节都出现了AI介入的可能性。美国作为全球资管行业规模最大、技术基础设施最成熟的市场，其头部机构近期在AI战略上的密集动作，为观察这一轮转型提供了一个具有代表性的样本。本文

Hackuity 融资 1900 万美元，帮助安全团队梳理 AI 发现的漏洞

总部位于里昂的网络安全公司在Forgepoint Capital International领投的一轮融资中筹集了1900万美元。现有投资者Bright Pixel、Bpifrance和Seventure Partners也参与其中，使该公司的总资金达到3800万美元。Hackuity计划将这笔钱用于产品开发、人工智能功能以及在欧洲和亚洲的扩张。 该公司销售所谓的漏洞操作中心，这是位于扫描仪和安全

AI安全威胁重塑企业网络安全预算投向

AI 黑客威胁不仅仅促使企业大幅提高网络安全总预算，还正在改变资金的投放方向。安全高管表示，部署系统监控员工对 AI 工具的使用、采用 AI 模型在黑客动手前发现漏洞，以及借助 AI 工具加速漏洞修复。 但并非所有网络安全产品都能受益。多名高管称，企业同时在削减传统漏洞管理软件、日志采集工具和渗透测试服务的开支，以此节约成本。渗透测试即雇佣 “白帽黑客” 主动寻找系统安全缺陷。这将给思科、Sent

谷歌高管称亚洲AI普及速度被低估 两年走完云计算十多年历程

凤凰网科技讯月20日日本地区AI业务董事总经理哈沙·孔杜里表示，亚洲企业采用人工智能的速度被外界低估。AI在大约两年内迅速普及，而云计算进入企业日常运营用了十多年。 哈沙·孔杜孔杜里称，外界认为亚洲AI普及率低于其他市场，这一判断与谷歌掌握的数据不符。亚洲可能是谷歌云多个业务中增长最快的地区。在他接触的多家公司中，亚洲为AI业务贡献的收入已经位居全球第二，部分业务接近北美。 生成式AI的快速普及正