9月15日消息,独立评测机构 Artificial Analysis 把职业能力指数更新到 v1.1。这一版强化了领域调优,把核心智能指数 v4.3 的部分评测切片与专项评测合进六个职业域指数:财务与会计、战略与运营、法律、医疗与健康、工程、经济学。
六个职业域按 O*NET 任务频次配权重
做法是把 O*NET 职业里的任务映射到代表这些任务的基准测试,再按每项能力在工作中出现的频率给基准加权。以财务与会计为例,六个组件是业务知识 30%、agent 知识工作 30%、推理 20%、agent 工具使用 10%、长上下文 5%、非幻觉 5%。战略与运营把 agent 知识工作提到 35%、agent 工具使用给到 30%。
四个域加入 Agent 工具使用,移除 Agent 客户交互
财务与会计、战略与运营、法律、医疗与健康四个域做了同一组替换:新增「Agent 工具使用」能力,来源是 AutomationBench-AA 的分域切片——财务与会计取金融域,战略与运营取运营域,法律与医疗与健康取运营与支持域;并从能力清单里移除「Agent 客户交互」。
AutomationBench-AA 测 agent 在模拟 SaaS 环境里完成业务流程的能力。评分口径是每条任务的目标中、在未触发护栏违规的前提下完成的比例,取平均;AA 在页面上写明,这与 Zapier 自营排行榜「整条任务完成比例」的算法不是同一个数。基准覆盖 657 条任务、六个业务域(财务、HR、市场、运营、销售、支持),模拟环境包含 Gmail、Google Sheets、Slack、Salesforce、Zendesk、Jira 与 HubSpot,题目集不对外公开。它来自 Zapier 的 AutomationBench,原论文作者为 Daniel Shepard 与 Robin Salimans。在这四个指数里,它的权重依次是 10%、30%、5%、10%。 其余变更:AA-Briefcase 进六域,工程换掉两项
六个域的「Agent 知识工作」加入 AA-Briefcase。三个域的长上下文推理加入 GDP.pdf,这三个域是财务与会计、战略与运营、法律;医疗与健康新增「长上下文推理」能力,来源是 MLCR-AA。工程域的变动幅度居首:Agent 终端使用里的 Terminal-Bench 升到 v4.0,推理项里的 GPQA Diamond 移除,Agent 知识工作加入 AA-Briefcase。经济学的唯一变动是 Agent 知识工作加入 AA-Briefcase。
同一批更新里,智能指数升到 v4.3(9 月 7 日):用 AutomationBench-AA 替换 𝜏³-Banking,并把 Terminal-Bench 从 v2.1 升到 v4。被换掉的 𝜏³-Banking 是 Sierra Research 的金融客服基准,考的是在约 700 份政策文档里检索并连续调用工具,其页面现在标着 Legacy。
Claude Fable 5.1 六项居首,开源权重进了四个域的前十
六个指数的榜首落在同一个模型上,Anthropic 的 Claude Fable 5.1(max):经济 62.75、法律 60.57、战略与运营 59.78、医疗与健康 58.08、工程 56.53、财务与会计 56.51。GPT-6 Astra(max)紧随其后,在财务与会计、战略与运营、法律、工程四项里排在第二;医疗与健康的第二是 Claude Fable 5(with fallback),经济学的第二是 Claude Opus 5(max)。
开源权重模型在多个指数上进到前列:Kimi K3(max)在财务与会计排第 8、法律第 9、经济学第 7;DeepSeek V4.1 Flash(max)在战略与运营排第 7;GLM-5.3(max)在医疗与健康排第 6、工程第 7。三个模型各自领跑所在域的开源权重阵营。 在智能指数 v4.3 上,Claude Fable 5.1(max with fallback)与 GPT-6 Astra(max)同为 53 分,其后是 Claude Opus 5(51)、Claude Fable 5(50)、Muse Spark 1.3(48)与 GPT-5.6 Sol(47)。
指数越细,口径越要看清
把职业域拆成六个指数,好处是选型时能对上具体工作;代价是每个指数由 5 到 7 个评测加权而成,权重来自一套任务分类法。换分类法、换组件,曲线上的位置会变。AutomationBench-AA 的引用方式要留意:它算的是「目标完成比例、无护栏违规」,与 Zapier 榜单的「整条任务做完」不是同一个数,两边的分数不能混着比。
六个指数页标注的模型覆盖并不一致:财务与会计、战略与运营、法律三项显示 24/153,医疗与健康 22/68,工程 25/157,经济学 25/164。