腾讯混元团队推出的全新基准 CL-Bench Life,把过去用专业领域知识考验大模型的范式翻了过来——它不再问 AI 能不能学会一套陌生的规则或流程,而是把模型扔进真实生活里那些杂乱、碎片、不断被修改的上下文中,看它能不能"读懂"。结果是断崖式的:12 个被测前沿模型平均只能完整解决 14.5% 的任务,最强的 GPT-5.5(High)也只做到 22.2%,比同一批模型在原版 CL-Bench 上的表现还低了 5 个多百分点。 405 个任务、5348 条 rubric,重新定义"日常上下文"难度
CL-Bench Life 包含 405 个完全由人工构建的真实任务,配套 5348 条原子化评分标准,平均每个任务对应 13.2 个考核点,远高于 MMLU、AGIEval 等知识型基准的单点判分密度,也比 LongBench、∞Bench 这类长文本基准更强调"细粒度对错"。
任务被划分为三大类,对应日常生活中三种典型上下文形态:
沟通与社交互动:一对一私聊、混乱的多人群聊、活跃的社区讨论。难点在于交错的话题线、重叠的讨论线程、复杂的指代关系。AI 要从随口闲聊里识别真正的决策信号,要在多人互动中持续追踪谁说了什么、谁是组织者、谁有最终拍板权。
碎片信息与修改轨迹:散落的个人笔记、不断被修订的文档、信息流。模型需要从凌乱的片段中重建逻辑线,并推理一个想法是如何被多次改写直到定稿。
行为记录与活动轨迹:游戏日志、消费流水、健身打卡、长期个人追踪记录。这类上下文要求 AI 从一长串行为痕迹里推理潜在原因或习惯异常——比如从大半年的训练日志里推断为什么某个肌群反复受伤。
这三类设计精准补足了过去 benchmark 的盲区。MT-Bench、AlpacaEval 偏向单轮对话评估;MMLU、GPQA 测知识广度;LongBench 测长文检索;而 CL-Bench Life 测的是"在噪声里推理"——这是从 ChatGPT 到 Claude、Gemini 都还没真正解决的能力维度。 benchmark 实测:开启 reasoning 模式也救不了多少
公开的初步评测覆盖了 12 个主流模型,整体表现都很难看。GPT-5.5(High)以 22.2% 的解决率排第一,其他 reasoning 模型紧随其后,但与第一名差距并不悬殊,第二梯队普遍在 15%-18% 区间,而非 reasoning 模型整体压在 10% 以下。
更值得注意的是任务通过阈值的弹性。研究团队调整"满足多少比例的 rubric 才算通过"这一阈值时,模型通过率随阈值放宽显著上升——意味着模型并非完全没看懂上下文,而是几乎无法把所有关键点都抓全。这与 CL-Bench 上的曲线类似,但 CL-Bench Life 的"部分正确"占比更高,说明日常上下文是"局部可解、整体难解"。
更反直觉的发现是上下文长度并非主因。CL-Bench 上模型表现随 context 变长有明显下滑,因为更长意味着要吸收更多新知识;而在 CL-Bench Life 里,一旦开启 reasoning 模式,长度与表现的相关性就变得很弱。换句话说,长文本推理能力(long-context reasoning,类似 Gemini 1.5/2.0 主打的卖点)并不能直接迁移到日常上下文理解能力上。瓶颈不在"读得完不完",而在"分得清不清"。
主要失败原因:不是没读到,是误读了
跨模型分析显示,最主要的错误类型是 context misuse——模型确实看到了上下文,但仍然误解或误用。这与 CL-Bench 中的 context misuse 性质不同:后者是错误应用新定义的知识规则,前者则是误读了一个日常中再普通不过的语义。
群聊场景下的失败模式尤其典型。常见错误包括:
- 角色混淆:把临时发起群规则的成员误判为管理者,把真正拍板的人当成下属
格式错误和直接拒答在 CL-Bench Life 中占比很低,问题都集中在"理解错了真实生活的语义"上。这暴露的是当前 RLHF 路线的一个结构性短板:模型在偏好训练里学到了"听起来合理"的回答模式,但对人际关系动态、信息时效性、行为序列因果这些日常常识的鲁棒性还相当薄弱。
与 CL-Bench 互补:context learning 的"另一半"
CL-Bench Life 不是 CL-Bench 的加难版,而是另一维度的补充。CL-Bench 中的上下文来自专业领域,被相对清晰地组织过——模型要做的是掌握新的知识或规则并使用它们,类似一份"使用手册"。CL-Bench Life 中的上下文则来自日常生活,碎片、无序、随时间被反复修改——模型要从中拼出真相并保持鲁棒。
这种互补结构的意义在于:过去围绕 RAG、long-context、Agent memory 的讨论大多聚焦于"如何记住更多",但 CL-Bench Life 表明,"记住"本身已经不是核心瓶颈,"在嘈杂记忆里精确提取并正确解读"才是。这与 LangChain、Letta(前 MemGPT)、Mem0 等记忆框架近一年的演进方向高度吻合,也解释了为什么 OpenAI、Anthropic 都在加大对个性化记忆和长程对话一致性的投入。
局限与现实选型建议
CL-Bench Life 当前仍有几处需要承认的局限。一是 405 个任务量级对覆盖完整生活场景仍偏小;二是评分依赖人工 rubric,扩展性受限;三是测试任务以中英文为主,多语言混杂的真实日常场景尚未充分覆盖;四是模型版本更新极快,公开榜单需要持续维护才能反映最新进展。
对正在开发个人助手类产品或 Agent 的团队,CL-Bench Life 的实测结果给出了几个相当直接的判断依据:
如果产品定位是处理用户群聊、家庭群、工作 IM 等多人交错的真实对话,单纯堆模型规模或加长上下文窗口的边际收益已经很有限,应优先考虑接入 reasoning 模式更强的模型,并在工程侧做角色追踪、说话人归因的辅助结构。如果场景是从用户笔记、聊天记录、行为日志中归纳长期模式,对模型选型而言,benchmark 上 long-context 分数高的不一定吃得下噪声,应该用类似 CL-Bench Life 的真实片段做内部验证。如果团队正在评估"个人记忆"功能的可行性,14.5% 的平均解决率意味着现阶段更现实的路线仍是"模型 + 结构化记忆库 + 检索"的组合,而非完全押注模型端到端理解。
CL-Bench Life 把行业目光从"AI 能学会多少"拉回到"AI 能不能读懂我们的生活"。这是个人助手能否真正落地的前置问题,答案目前并不乐观,但至少现在有了一把可以反复测量的尺子。