8月25日消息，SemiAnalysis 发布智能体推理基准 AgentX 1.0（InferenceX v3），以 Apache 2.0 协议完全开源。官方称其为全球首个 1M 上下文的多轮智能体编程推理基准。与 SWE-bench 这类评模型解题能力的榜单不同，AgentX 测量的是同一模型在不同芯片和推理栈上承载真实智能体流量时的性能与成本。完整结果已在 InferenceX 仪表板公开。
目前所有结果均为官方自测口径，Rubin、TPU 等平台的数据尚未包含在矩阵中。官方表示三至四周后将发布更新文章，补充新的优化与结果。
393 条轨迹与 300 万美元数据集
AgentX 的语料来自 393 条匿名化的 SemiAnalysis 内部 Claude Code 会话轨迹。匿名化方法类似 Qwen-Bailian 生产轨迹数据集，在脱敏的同时保留原始的前缀复用模式。回放环节使用 AIPerf，按原始请求时序在不同并发水平下重建流量。官方称构建该数据集花费超过 300 万美元。为让数据采集成为可能，SemiAnalysis 与 Anthropic 合作在 Claude Code 中落地了两项功能，官方文章附上了对应的 GitHub issue。 SemiAnalysis 给出的行业背景是：自 2025年11月 Claude Code 出现采用拐点以来，长上下文多轮智能体负载已主导生产推理流量；2026年4月，OpenAI 的企业级智能体支出超过了 ChatGPT 支出；目前 GitHub 公开 commit 中约 4% 由 Claude Code 编写。这组数字是 SemiAnalysis 的口径，用来说明为什么此时需要一个面向智能体流量的基准。
测什么：多轮、长上下文、高前缀复用、子智能体突发
官方将智能体负载概括为四个特征。会话包含数十至数百轮交互；系统提示与工具定义使上下文快速累积；随着轮次推进，绝大部分输入可以由 KV 缓存提供而无需重算；短生命周期的子智能体会带来突发的 KVCache 模式。在 DeepSeek V4 的全部测试运行中，输入长度中位数为 8.8 万 token，p99 达到 67.5 万 token，输出长度中位数为 413 token。 智能体推理因此是系统问题，而不只是芯片或 kernel 问题。KV 张量需要跨节点高效传输，请求要按前缀所在位置路由以最大化缓存命中，长会话还要求把 KV 缓存分层卸载到 DRAM 和 SSD。固定序列长度的单轮基准（如 8k 输入 1k 输出）测不到这些环节。
整个测试矩阵运行在约 2MW 持续运转的算力上，覆盖超过 1000 块芯片，包括 MI355X、GB300 NVL72、GB200 NVL72、B300、B200、MI325、MI300X、H200 和 RTX Pro 服务器。被测模型包括 DeepSeek V4 Pro 0813（1.6 万亿总参数、490 亿激活参数）、Kimi K3（2.8 万亿参数）、MiniMax M3 432B、Qwen3.5 397B 和 GLM 5.3。Rubin 将于本月内加入矩阵，TPU 和 MI455X 今年晚些时候加入。 跑出了什么：NVIDIA 多数领先，AMD 在部分区间逼近
官方结果呈现的总体格局是 NVIDIA 在多数前沿模型上领先，AMD 的 MI355X 在特定模型和延迟区间具备竞争力。
DeepSeek V4 Pro 上的拉锯最有代表性。8月21日之前，MI355X 的 SGLang 配置在端到端单位成本性能上曾追平 B200 vLLM；8月21日之后，Inferact 与 NVIDIA 的 vLLM 优化使 B200 反超。B300 与 B200 按 TCO 归一化后表现接近，差别在于 B300 的 HBM 容量大 50%，高并发下可以装下更多 KV 缓存：384 并发时 B300 的 HBM 缓存命中率为 91%，而 196 并发的 B200 只有 73%，需要更多依赖 DRAM 卸载。
其他模型各有胜负。Kimi K3 上，在 40 至 60 秒端到端延迟的区间，MI355X 的 ATOM 栈单位成本性能超过 GB300 NVL72 vLLM。MiniMax M3 是 NVIDIA 的明显强项，官方对 AMD 在该模型长上下文场景的表现评价相当直接。Qwen3.5 397B 上，同为 SGLang 栈，NVIDIA 在每用户 90 token/s 交互性点的性能高出 20 倍以上。GLM 5.3 上，在每用户 150 token/s 交互性下，NVIDIA 的成本效率最高达 5 倍。
以上数字均来自官方自测，且官方明确表示多项结果正在快速变化。
头几个月的产出是 50 多个上游 PR
官方称，AgentX 上线头几个月最有价值的产出不是初始结果，而是行业影响：vLLM、SGLang、TensorRT-LLM、ATOM、AITER、Dynamo、LMCache、Mooncake 等项目已有 50 多个针对真实生产负载的上游 PR 以 AgentX 为北极星基准，官方文章开头的口径为 70 余个。这些优化大多可以直接迁移到生产流量。
几个案例能说明真实轨迹测出了什么。vLLM 改进了混合注意力模型的前缀缓存策略，在 14 并发、百万 token 上下文下把前缀缓存命中率提高到 95% 以上；面向 DeepSeek V4 混合注意力的 CPU KV 卸载支持，报告输出吞吐提高 81.7%、平均端到端延迟下降 46.6%。TensorRT-LLM 实现了边界感知的增量分词，避免每轮重复分词十万级 token 的历史，在 Qwen3.5 轨迹上把平均处理时间从 185.1ms 降到 11.3ms。还有一项正确性修复：PD 分离部署下的前缀感知传输，把一个 12.75 万 token 共享前缀测试的正确命中从 128 项中的 2 项修复到 128 项全部正确。一个只测吞吐的基准遇到这种错误，会记下一份"快但错误"的成绩单。
开放程度是另一个重点。AgentX 开放了前端、公共数据库和 REST API，官方称多家一线 AI 实验室的容量规划团队已经在消费这些数据。基准配置主要跟踪 recipes.vllm.ai 和 SGLang cookbook 的上游镜像，意图是测量真实客户实际能获得的性能，而不是专门调优的测试镜像。
一把可以复现的公共尺
AgentX 与现有编程基准的分野在于测量对象。SWE-bench、Terminal-Bench 回答的是"哪个模型更能解决问题"，AgentX 回答的是"这套推理系统跑智能体流量划不划算"。前者指导模型选型，后者指导芯片与推理栈选型。对买算力的一方，这是一个可以复现的公共对照，而官方称一线实验室的容量规划团队已经在用。
对芯片竞争的双方，AgentX 把差距变成了公开曲线。8月21日 B200 对 MI355X 的反超说明，单位成本排名可以被软件优化以周为单位改写，硬件规格表之外还有一层调度与缓存的战场。SemiAnalysis 与 AMD 软件团队有多年合作，InferenceX 的支持方包括 Meta、微软、Oracle、OpenAI、MiniMax、月之暗面、阿里 Qwen 和智谱，阅读其结果时这层利益关系值得一并知道。
现在的结果还只是一半答案。Rubin 和 TPU 没有进入本轮矩阵，官方自己的更新文章也要等三至四周。在此之前，这组数字更合适被当作一个可以复现的对照起点，而不是一份总排名。
AI 速览
