上海AI实验室与上交LUMIA开源NCP-ArchPreview：一半令牌追平OLMo-3-7B损失

上下文理解开源模型推理优化模型评测对比训练引擎本地化运行Apache 2.0协议GitHub开源

2026-09-23 14:05

31 浏览

0 点赞

AI 速览

上海AI实验室与上交LUMIA开源89亿参数隐空间语言模型NCP-ArchPreview，探索“下一概念预测”新预训练目标，适合关注大模型架构创新的研究者。核心事实 - 模型名称：NCP-ArchPreview，89亿参数隐空间语言模型 - 技术创新：在标准词元预测外联合训练“下一概念预测”目标 - 训练数据：5.73万亿Dolma-3令牌，51.3%令牌量追平OLMo-3-7B第一阶段损失 - 开源许可：权重以Apache 2.0协议发布于HuggingFace，评测代码开源至GitHub - 下游表现：第一阶段宏平均46.59→49.04，第二阶段代码任务回落 - 轻量适配：仅更新1700万参数的概念模块即可实现领域自适应避坑提示 - 效率指标仅指追平损失所需令牌占比，未计入概念模块额外推理开销 - 模型定位为“架构预览”，非产品级模型，第二阶段性能不稳定时间线 - 2026年9月9日：论文提交至arXiv（编号2609.10715） - 2026年9月23日：模型与代码正式开源发布价值点为大模型研究者提供了一个可复现的开源架构实验范例，验证了语义层面预训练目标的潜力与挑战。

9月23日消息，上海人工智能实验室与上海交通大学 LUMIA 实验室发布开源模型 NCP-ArchPreview：一个 89 亿参数的「隐空间语言模型」，在标准下一词元预测之外联合训练「下一概念预测」目标。按技术报告，它在 5.73 万亿 Dolma-3 令牌上训练，以 51.3% 的训练令牌追平 OLMo-3-7B 第一阶段的最终损失，第一阶段下游宏平均从 46.59 提升至 49.04。权重以 Apache 2.0 许可开源。论文（arXiv 2609.10715）9月9日提交，为未经同行评审的预印本，全部数字为论文自报。

上海AI实验室与上交LUMIA开源NCP-ArchPreview：一半令牌追平OLMo-3-7B损失

效率主张：两个阶段的令牌账

这份报告的效率账分两段。第一阶段，NCP-ArchPreview 消耗 OLMo-3-7B 训练令牌量的 51.3% 即达到其第一阶段最终损失，论文原文称之为 1.95 倍的收敛加速；换一个口径，用 85% 的标准计算量可以逼近一个参数量对齐的 8.9B 基线的损失。第二阶段差距收窄：以 66.2% 的令牌追平 OLMo-3-7B 第二阶段最终损失（1.51 倍），自身最终损失再低 0.027。

需要说明口径：这里的「效率」指追平损失曲线所需的令牌占比，不是端到端训练成本的审计，概念模块的额外参数与推理开销都不在这笔账里。即便如此，在 8.9B 规模上做出这条曲线，是论文自称「迄今最大的隐空间语言模型」的底气。

下游成绩单：第一阶段全面上涨，第二阶段代码组回落

第一阶段（对照各阶段已发布的 OLMo-3 模型）宏平均 46.59→49.04，涨 2.45 分。数学组最突出：GSM8K 从 39.27 涨到 45.26（+5.99）；代码组 HumanEval 从 27.10 涨到 31.38（+4.28）；知识组 MMLU 涨 2.58。

第二阶段是混合表现：宏平均只涨 0.59，GSM8K 再涨 3.34，代码组回落（HumanEval −3.69、BigCodeBench −1.16）。论文没有回避这组数字，但也没有给出解释。对读者来说，这份成绩单的重心在第一阶段的效率与提升，第二阶段说明概念目标在训练后段的收益尚不稳定。

概念预测是什么

标准语言模型逐词元预测下一个 token。NCP 在此之上加了一层：从模型自身隐状态构建乘积量化的概念词表，用一个专用概念模块预测「跨越多个词元的离散概念」，再把预测结果反馈给词元生成作为引导。概念序列的长度约为词元序列的四分之一，每个概念模块块的参数量约等于一个 OLMo-3-7B 标准块，计算量不到其四分之一。

这套设计的意图是把「模型下一步要说什么」从词元层面抽象到语义层面，让生成带着对未来的规划走。报告称两个目标端到端联合训练。

预训练之后，概念空间还能用

这份报告最容易被忽视的部分是概念空间的复用。领域自适应走了一条轻量路径：只更新 1700 万参数的概念模块，词元主干冻结，论文在代码、数学、知识三类适配实验中验证了这条路径。把概念表征注入 DFlash2 投机解码草稿器，平均接受长度提升 4.17%，开销可忽略。预训练学到的概念空间本身成了接口，不必重训模型就能换用途。

开源内容与坐标系

开源内容：模型权重（HuggingFace 上的 ArchSpace-Collection/ncp-archpreview 系列，Apache 2.0）、评测代码（GitHub LUMIA-Group/ncp_olmo_eval）、以及 lmdeploy 的适配。坐标系值得注意：数据用 AI2 的 Dolma-3，基线是 AI2 的 OLMo-3-7B，代码托管在 InternLM 组织下——上海AI实验室选了完全开源的配方做架构实验，第三方可以逐令牌复现这条损失曲线。模型名里的 ArchPreview 已经说明定位：这是架构预览，不是产品模型。

把这件事放进当前行业里看，它的特别之处在于方向选择。行业注意力集中堆后训练时，这项工作回到预训练目标本身做实验，并且用开源配方保证可复现。51.3% 的令牌账要经得起第三方复跑才算数，这就是 OLMo 范式存在的意义。至于概念级目标能不能走到产品模型里，一份预印本给不出答案，第二阶段代码组的回落是第一个待解释的信号。

好文章，需要你的鼓励

# 报错信息分析与调试指南 ## 任务说明请分析用户提供的报错信息，推测可能的错误原因，并提供系统性的调试步骤。 ## 分析要求 1. **错误类型识别** - 确定是语法错误、运行时错误、逻辑错误还是环境配置错误 - 识别具体的错误类别（如空指针、数组越界、类型不匹配等） 2. **原因推测** - 基于错误信息中的关键线索进行合理推断 - 考虑常见的导致此类错误的编程场景 - 分析可能的代码问题或环境问题 3. **调试步骤** - 提供从简单到复杂的逐步调试方法 - 包括代码检查、日志添加、环境验证等具体操作 - 给出预防类似错误的最佳实践建议 ## 输出格式 - **错误类型**：[具体的错误分类] - **可能原因**： 1. [原因1] 2. [原因2] 3. [原因3] - **调试步骤**： 1. [步骤1] 2. [步骤2] 3. [步骤3] 4. [步骤4] - **解决方案**：[具体的修复建议] ## 示例 **输入**：【报错信息】 ``` TypeError: Cannot read property 'length' of undefined at processData (app.js:25:18) at main (app.js:10:5) ``` **输出**： - **错误类型**：运行时错误 - TypeError - **可能原因**： 1. 变量未正确初始化就被访问其 length 属性 2. 函数参数传递了 undefined 值 3. 异步操作中数据还未加载完成就尝试访问 - **调试步骤**： 1. 检查 app.js 第25行附近的变量声明和赋值 2. 在访问 length 属性前添加类型检查：`if (variable && variable.length)` 3. 使用 console.log() 输出相关变量的值确认其状态 4. 检查函数调用时传入的参数是否正确 - **解决方案**：在访问对象属性前先验证对象是否存在，或确保变量在使用前已被正确初始化。