字号·· | 护眼
罗塞塔简报

Anthropic新模型Fable 5.2在远程用工指数基准测试中获41.3%成功率Anthropic新模型Fable 5.2在远程用工指数基准测试中获41.3%成功率

点「原文对照」整页切到原文,或双击某段只看那段的原文。

Anthropic最新人工智能模型Fable 5.2在“远程用工指数”(Remote Labor Index,简称RLI)基准测试中取得了41.3%的成功率。该基准由Scale Labs与人工智能安全中心(CAIS)联合开发,采用涵盖3D建模、音频剪辑和建筑设计等领域的240个Upwork真实自由职业项目数据集(总价值约14.4万美元),旨在评估AI智能体执行实际任务的能力。

Anthropic's Fable 5.2 Reaches 41.3% Success Rate on Remote Labor Index Benchmark Anthropic最新人工智能模型Fable 5.2在“远程用工指数”(Remote Labor Index,简称RLI)基准测试中取得了41.3%的成功率。该基准由Scale Labs与人工智能安全中心(CAIS)联合开发,采用涵盖3D建模、音频剪辑和建筑设计等领域的240个Upwork真实自由职业项目数据集(总价值约14.4万美元),旨在评估AI智能体执行实际任务的能力。

Fable 5.2的表现几乎是其他主流前沿模型的两倍,相比之下,Anthropic旗下的Opus 5.5成功率为21.25%,OpenAI的GPT-6 Astra则为20.83%。经受训的人类评审员人工核验,Fable 5.2虽能处理复杂的长流程任务,但在动画制作和工业设计方面仍存在不足。

Fable 5.2的表现几乎是其他主流前沿模型的两倍,相比之下,Anthropic旗下的Opus 5.5成功率为21.25%,OpenAI的GPT-6 Astra则为20.83%。经受训的人类评审员人工核验,Fable 5.2虽能处理复杂的长流程任务,但在动画制作和工业设计方面仍存在不足。

Anthropic的新人工智能模型Fable 5.2在远程用工指数(RLI)上实现了41.3%的成功率,该评估由Scale Labs和人工智能安全中心(CAIS)开发。该基准利用一个包含240个Upwork项目、价值约14.4万美元的数据集,跨3D建模、音频剪辑和建筑设计等学科,评估AI智能体执行真实自由职业任务的能力。Fable 5.2的表现大致是竞争对手前沿模型的两倍,其中包括Anthropic自家的Opus 5.5(21.25%)和OpenAI的GPT-6 Astra(20.83%)。

Anthropic's new artificial intelligence model, Fable 5.2, achieved a 41.3% success rate on the Remote Labor Index (RLI), an evaluation developed by Scale Labs and the Center for AI Safety (CAIS). The benchmark assesses AI agents performing real freelance assignments across disciplines like 3D modeling, audio editing, and architectural design using a dataset of 240 Upwork projects valued at approximately $144,000. Fable 5.2 roughly doubles the performance of competing frontier models, including Anthropic's Opus 5.5 at 21.25% and OpenAI's GPT-6 Astra at 20.83%.

受过训练的人类评审员人工核对了提交结果,指出尽管Fable 5.2能够解决复杂的长时程任务,但在动画制作和工业设计方面仍显吃力。

Trained human reviewers manually verified submissions, noting that while Fable 5.2 resolved complex long-horizon tasks, it still struggles with animation and industrial design.

阅读媒体原文 ↗