7月15消息，Perplexity 发布并开源 WANDR（Wide ANd Deep Research）基准与评估框架，围绕 500 个真实、有挑战性的数据收集任务，考察研究型 Agent 能否在"广度"和"深度"上同时胜任知识工作。这是该公司此前深度研究基准 DRACO 的"宽度"版兄弟：DRACO 考察 Agent 能否产出准确、完整、客观的长报告，WANDR 则考察它能否建起一个庞大的条目集合，并为其中每一条都附上具体证据。最值得关注的结论是绝对分数之低——即便在高投入档位，参评中最强的系统也只达到 0.363 soft F1 和 0.133 hard F1，Perplexity 由此判断"宽而深的研究离被解决还很远"。需要提示的一点是，该基准由 Perplexity 构建、其自研系统在评测中排名第一，排名结果应放在这一利益相关前提下解读。 WANDR 考察的是"既要找得广，又要查得实"
WANDR 针对的是人们已经在交给研究型 Agent 的工作：竞品梳理、尽职调查、文献综述、市场分析、产品比较、人才寻访等。这类任务同时提出两项要求。广度上，要发现一个庞大且往往开放式的合格实体集合；深度上，要对每个实体调查到足以用证据支撑每一项声明的程度。两者叠加改变了问题的性质：少量有说服力的样本不够，一份基于不完整调研的漂亮叙事也不够，Agent 必须在维持广泛发现的同时，保证逐条记录的事实质量不掉链子。
基准用一套可组合的"合格键层级"来刻画这种结构，例如 company(n) → employee(m) → url(k)，表示先找到 n 家合格公司、每家 m 名合格员工、每名员工 k 个支撑网页，树上每一条完整路径都能被独立校验。500 个任务合计要求约 17 万条（170,495 条）有来源支撑的记录，中位任务要求 50 个成员、每个成员 4 条记录、共 245 条。任务按难度分为 167 个低难度、166 个中难度、167 个高难度，且难度并不只由规模决定，还取决于每条记录所需的工作量。
用证据核验替代固定答案键
WANDR 的评分方式与传统基准不同。开放式研究任务的答案会随时间变化、构建成本高且很快过时，固定答案键并不适用。它转而对 Agent 提交的每一条声明，用其所引用的证据来判分。每条记录包含条目、URL、选摘和答案，评分器会重新抓取页面，检查页面是否可用、声明是否清晰且在范围内、选摘是否真实出现在页面上，以及页面与选摘是否支撑每一项要求。
这些二元判定沿层级向上汇总为 precision（衡量已提交内容的质量）、recall（衡量对目标数量的质量调整后完成度）与两者平衡的 F1。soft 分对未完成的成员给部分分，hard 分只计整棵必需子树都正确的成员。这种设计让失败可被定位：高 precision、低 recall 通常意味着找到了一些好成员但数量不够；soft 到 hard 的大幅回落意味着有部分进展、但很少能补全一个成员所需的全部分支；损失可被归到发现、富集、身份处理、页面合格判定或证据抽取中的某一层。
六个系统同台：领先者也只有约七分之一的成员能拿满分
Perplexity 在相同流水线下比较了六个生产系统。其自研的程序化检索编排系统 Search as Code（SaC）以 0.363 soft F1、0.133 hard F1 领先，Anthropic 以 0.249、0.072 位居第二，其余系统的 soft F1 最高只到 0.121。成本与效率上没有系统能同时占优：Perplexity 处于成本区间中部，每个任务 5.20 美元、中位求解耗时 14.9 分钟、报告约 382 万 tokens；OpenAI 与 Exa 更快更便宜但分数低得多；Anthropic 在质量上最接近，但耗费的时间、资金和 tokens 明显更多。在放开投入档位的 45 任务子集上，Perplexity 在 xhigh 档达到 0.447 soft F1、0.224 hard F1，而全体成本跨度超过四个数量级，从 Exa 低档的每任务 0.03 美元到 Gemini 最高档的 324.83 美元。 即便是领先者，绝对水平也很低。0.133 的最佳 hard F1 意味着，它提交的成员里大约每七个才有一个能拿到满分，任务所要求的成员里也大约每七个才被完整覆盖一个。
失败集中在覆盖广度和证据构建，而非"找不到页面"
四项发现指向同一个结论：部分完成常见，完整覆盖罕见。每个系统的 soft recall 都低于 soft precision，说明一旦把完整目标数量计入分母，表现就会下滑。问题还随规模和层级深度放大：从最小到最大的目标量区间，Perplexity 的 hard precision 从 0.235 降到 0.096；而从没有中间键到三层及以上，其 hard precision 从 0.392 骤降到 0.019，每增加一个分支就多一处让成员错失 hard 满分的地方。
从流程看，发现是第一个结构性瓶颈，顶层发现完成度在 0.611 到 0.951 之间，去重合并造成的损失很小，主因是"交付不足"而非身份误并。更关键的一层在证据：对多数系统而言,只有 3.2% 到 8.9% 的提交页面不可用，但有 33.6% 到 68.3% 的页面至少未满足一项实质任务要求，57.5% 到 86.6% 的选摘无法支撑记录声称的全部内容。Perplexity 这两项分别为 41.4% 和 57.5%，其 soft F1 也从只看页面是否达标的 0.531，回落到叠加完整证据校验后的 0.363。找到一个看起来合理的页面不难，难的是把它转化为支撑整条声明的充分证据。
这是 Perplexity 的主场基准，真正的增量是暴露了系统性短板
看这份结果，首先要意识到它的利益相关属性。基准的任务设计、评估框架和判分逻辑都由 Perplexity 构建，参评并夺冠的 Search as Code 也是其自研系统。SaC 把检索、过滤、扇出、渲染、连接、去重和停止逻辑写成程序、让确定性计算在模型上下文之外处理重复操作，这一形态确实与"宽而深"的任务结构相匹配，但"自建赛道、自评第一"意味着排名的第一名身份不宜直接等同于中立第三方结论。真正独立于名次的增量，是所有系统的绝对分数都很低：这说明市场里被频繁使用的"研究 Agent"，在需要大规模、逐条带证据的知识工作上仍远未达到可托付的水平。
对做 Agent 的团队来说，WANDR 的诊断价值大于它的排行榜名次。per-record 判定和层级分数能把一次运行的失败定位到发现、富集、身份处理、语义合格判定还是证据构建，这比一个总分更有用。容易被误读的地方在于把"某系统领先"读成"该系统已能胜任这类工作"，而数据显示的恰恰相反——连领先者都只有约七分之一的成员拿到满分。
接下来要看第三方复测与刷榜风险
后续最该观察的是独立复现。基准、评估框架和完整技术报告已在 GitHub 公开，这让外部团队有条件在同一套任务上重跑，验证 Perplexity 的领先是否在中立执行下依然稳健，也检验各系统的绝对短板是否一致。与此同时要留意刷榜风险：一旦基准公开且成为对标对象，系统就可能针对其任务形状和判分规则做定向优化，届时分数抬升未必等于宽深研究能力的真实提升。Perplexity 还提出该结构可用于强化学习训练——用记录级和分支级判定给予部分奖励、按需求量递增构建课程，这条路径能否真正训练出"既会找对事实、又会规划覆盖面并在停止前补齐缺失分支"的 Agent，是更长期的验证点。
AI 速览
