9月23日消息，雷峰网报道称，国内一批大模型厂商最近大半年密集重做预训练。报道把起因指向数据质量。语料只求规模、标注与考核错配、评测集被污染，模型的能力停在 60、70 分。报道称返工补的是数据这一课，案例的操作幅度从重拉团队重做清洗到整版作废重来。
报道没有为其中的案例给出具体时间。报道采信的从业者说法以匿名为主，其中唯一有前序公开报道可以核对的具名公司是腾讯混元。 堆量的代价在训练中期才暴露
报道引述一位头部基模公司数据专家赵翔的说法，报道没有披露他所在的公司。按他的回忆，行业早期的主流观点是“数据多就可以了，稍微差一点没关系，模型自己有转化能力和鲁棒性”。预训练是模型学习通用能力的第一阶段，团队为凑齐数千亿甚至上万亿 Token 的语料库，抓取了大量网页垃圾和脏语料，部分清洗包来源不明。
赵翔称，这样训出来的第一版模型效果较差，质量不过关的模型会卡在 60、70 分，“眼看海外的模型都跑到 90 分了，就是追不上”。
一位模型厂商前高管、现 AI 创业者王斌描述了另一个案例。一家中部基模公司把爬来的技术博客整批灌进预训练语料，训练到中期才发现其中相当部分是采集站的机器生成页，同一个段落被重复了几万次，模型在评测集上开始复读。团队定位到问题时，几万卡时（GPU 小时）已经烧掉，那一版作废重来。这家公司没有具名，报道也没有给出时间。
考核错配把数据团队推向凑数
报道转述其他媒体对腾讯混元的描述：标注规则定义不清，验收线却设定过高，团队为了交差生产出大批无法使用的数据。叠加打榜数据与冗余数据的污染，混元最后推倒重来，专门重拉团队从头清洗。
这段描述有更早的出处。据《晚点》报道，腾讯首席 AI 科学家姚顺雨到任后先动手的是数据。混元过去的 SFT（监督微调）数据没有去重，重复与冗余的数据能到上千万条，工期一紧，数据审核就被排到最后。他随后拉起一个 20 多人的预训练数据团队专做数据审核，几个月把冗余数据控制到 1 万多条。
同一批报道提到，他对混元的诊断是“几乎每个环节都在漏水”，其中包括把打榜语料放进训练集污染数据，以及数据标注准确率的验收线定在 95%、实际长期停留在 60%–70%。腾讯目前没有公开确认这些数字。
“数据团队的考核只看数据量的话，会很荒谬。”赵翔说。他的解释是，大模型拼的是数据的信息密度和干净程度，考核只盯数量等于鼓励团队拿垃圾凑数，几百 T 的脏数据灌进去，模型会变笨，甚至训练崩溃。
卡住数据的是钱和产能，产能更紧
多位数据从业者表示，限制数据工作的是钱和产能两个因素。
一位 AI 数据供应商业务负责人周骏给出了一个粗略拆解：每投入 100 元做 AI 训练，约 40 元花在算力、30 元花在人才、20 元花在广告，剩下 10 元花在数据上。他称专家长程任务数据的预算口径普遍在几个亿，实际付款时并不宽裕；同样的专家数据，美国的 HLE（Humanity's Last Exam，一套专家级学术题基准）调研一条起价 1 万至 2 万美元，国内基本只开 1000 至 2000 元人民币。这些是供应商口径的估算，没有官方统计可以对照。
产能比预算更紧。报道称高质量数据本身稀缺，正规渠道供不够，厂商开始自找门路。
中转站和蒸馏已经从传闻进入公开指控
报道称，某些模型厂商在做中转站生意，做 Token 转发。用户调用各种模型时，请求和结果都要经过这层转发，真实的任务数据就留在了平台上；报道称这比公开爬来的语料更接近训练想要的有效样本。报道提到，一批做模型路由（Routing，按任务自动挑模型）的创业公司也在积累同一类数据资产。报道没有点名这些厂商，也没有给出采用这条路径的厂商数量。
同一类转发机制在 9 月已经进入公开指控。美国 AI 公司 Anthropic 发布的报告点名七家中国 AI 实验室与科技公司，称其中部分架设代理中转站，用住宅代理 IP 和一次性邮箱把大量请求转给 Claude，以绕过 Claude 的地区限制与防蒸馏机制，并列出了从几十万次到 1.51 亿次的请求规模。这些数字出自该公司的内部调查，不是司法认定。报告针对的是蒸馏 Claude（用 Claude 的输出训练自家模型），报道的是收集自家产品的用户行为数据，两份材料的目的不同，用的是同一种转发路径。 报道还引述基元律动创始人王云鹤此前的受访说法：数据是地基，数据不行不要怪算力，数据不达标什么算法都不行。
他创办的公司把这件事写进了商业模式。王云鹤是原华为诺亚方舟实验室主任、盘古大模型负责人，基元律动在 2026年4月8日注册，天使轮投后估值 1 亿美元。其 CTO 韩凯在 9 月接受南方+采访时说，路由过程中沉淀的模型选择、调用结果和环境反馈会成为真实的多模型任务数据，反过来帮模型变得更好。这一说法把模型的训练素材放到了公开语料之外。
监管的动作落在转发环节。深度求索与月之暗面都在 Anthropic 点名的七家之列，据 The Information 等媒体报道，中国国家网信办正在调查这两家把用户请求转给 Claude 的行为。调查进行中，目前尚未公布处罚。
数据飞轮缺的是通路
报道中列出三处堵点。组织调整还在进行，各部门之间的数据墙尚未拆完。数据类人才同样匮乏，数据清洗、数据管道搭建、数据工程、数据研究岗位都有缺口。内生数据也不够：长程轨迹数据主要来自 AI Coding 和 AI 办公，前者的市场份额被 Claude、Codex 占去一大块，后者的产品能力还在初期，覆盖的工作场景与复杂度有限。
这批事实指向同一个约束：公开语料里能拿到的部分已经不够用，厂商开始把注意力放到用户与模型的交互记录上。获取这类数据的两条非公开路径，一条要付工程代价，一条要付合规代价。返工烧掉的是卡时和时间窗，中转站带来的是指控与调查，这两类消耗过去都不在模型竞争的账本上。
返工是否已经是行业普遍现象，目前只有匿名从业者的口径，没有统计可以对照。报道没有披露受访人数，也没有说明是否向涉事公司求证。中转站和蒸馏这类获取方式在法律上如何定性，公开材料同样没有给出结论。可以确认的变化是，数据治理从模型团队内部的工程细节，变成了需要组织、预算和合规一起处理的事。
AI 速览
