Yandex 开源 800 亿参数 MoE 模型 AliceAI，从头训练、Apache 2.0 许可

开源模型推理优化模型评测对比长上下文本地化运行模型架构优化MoE架构Apache 2.0协议GitHub开源

2026-09-23 11:05

36 浏览

0 点赞

AI 速览

Yandex 开源全新 800 亿参数 MoE 架构语言模型 AliceAI，完全从头训练、Apache 2.0 许可，适合关注开源大模型技术细节的研究者与开发者。核心事实 - 模型规模：总参数 800 亿，每 token 激活 30 亿，上下文长度达 262,144 - 训练方式：完全从零预训练，未使用任何第三方模型权重，训练周期约半年 - 架构设计：48 层混合结构，含 512 个 MoE 专家，每 token 路由 10+1 专家 - 开源许可：采用 Apache 2.0 协议，在 Hugging Face 发布预训练权重 - 评测表现：在俄语事实、数学与代码任务上显著领先同类开源模型 - 推理支持：提供 Transformers 与 vLLM 推理路径，含 LoRA 微调示例关键数据 - 俄语 WikiWebFacts 准确率 86.5，EGE CoT 达 90.5 - AIME 2026 pass@32 为 96.7，LiveCodeBench v5-6 pass@8 为 82.9 价值点为开源社区提供了一个高性能、可商用、支持长上下文与复杂推理的 MoE 基础模型，尤其适合俄语场景与智能体底层模型研发。

9月23日消息，Yandex 在 Hugging Face 开源了语言模型 AliceAI-Foundation-80B-A3B-Base。该模型总参数 800 亿，每个 token 激活 30 亿参数，上下文长度最高 262,144，采用 Apache 2.0 许可。据 Yandex 在 Habr 的发布说明，模型训练未使用任何第三方开源模型的权重，从数据管线到超参数都重新搭过，整个过程约半年。

Yandex 开源 800 亿参数 MoE 模型 AliceAI，从头训练、Apache 2.0 许可

从零训练：新语料、每轮 2 万亿 token 验证

Yandex 把这次发布定位为走向「统一推理模型」的一步，称其后的智能体能力会建立在这一代模型上。与上一代 Alice AI LLM 不同，上一代的训练从 Qwen3-235B-A22B 的权重出发，这次是完整预训练。

按发布说明，团队重做了预训练语料，比较了多种架构方案，补上推理与智能体交互数据。关键设计决策用一组从零开始的训练来验证，每次跑 2 万亿 token。官方尚未披露预训练的总 token 量与算力投入。模型卡列出的架构是混合结构：48 层，层间排布为 12 组「三层次线性注意力加 MoE，再一层门控注意力加 MoE」；MoE 侧共 512 个专家，每个 token 路由 10 个专家加 1 个共享专家；词表 129,024；另有一层多 token 预测。

模型卡也写明，这是一份预训练模型，不包含后续的后训练或对齐阶段，仓库里提供的对话模板只用于准备微调数据。

官方对比：数学与代码领先，俄语事实知识拉开差距

模型卡给出两组对比。第一组是英语与俄语的知识、教育与专家类基准，对比对象为 Qwen3.5-35B-A3B-Base、GLM-4.5-Air-Base（106B-A12B）、Nemotron-3-Super-120B-A12B-Base 与 DeepSeek-V4-Flash-Base（284B-A13B）。除 Qwen 外，其余对比模型的总参数都大于 AliceAI。在这一组里 AliceAI 多项拿到同组最高分：俄语事实基准 WikiWebFacts 86.5，HardMultiQA 67.9，文化知识基准 CultCat 86.5，俄罗斯高考题 EGE CoT 90.5，数学 MATH-500 91.1；英语事实基准 TriviaQA 为 79.0，低于 Nemotron 的 89.8 与 DeepSeek 的 89.4。

第二组是复杂推理与代码，用 0-shot 加 pass@32 或 pass@8 取样，取多次采样中的最优结果。AIME 2026 pass@32 为 96.7，与 Qwen 并列，Nemotron 为 90.0；HMMT 2026 Feb pass@32 为 96.9，对 Qwen 的 87.9 与 Nemotron 的 66.7；IMO Answerbench pass@8 为 88.7，对 Qwen 的 84.5 与 Nemotron 的 64.5；LiveCodeBench v5-6 pass@1 为 60.4，对 Qwen 的 51.9 与 Nemotron 的 34.7，pass@8 为 82.9；CodeForces CPP pass@8 为 68.9，低于 Qwen 的 73.7。

模型卡说明，以上结果全部来自 Yandex 内部评测框架，推理走 vLLM；第一组在 temperature 0 下跑，第二组在 temperature 1 并设了重复惩罚。发布说明还称，新模型在事实知识、数学、编程与长上下文上优于上一代闭源模型 Alice AI LLM 235B，而总参数约为其三分之一、激活参数约为其七分之一。该比较未给出逐项分数，上一代模型也未开源。

随权重放出两个俄语事实基准

与权重一起发布的还有两个事实类基准：WikiWebFacts 取自百科类文章与脱敏搜索查询，HardMultiQA 取自用户对 Alice 的提问，包含多选题、实体列举与文本纠错等题型。两个基准都给出了参考答案与评测协议，可在 Hugging Face 下载。发布说明称，团队在重做语料时把事实类网页语料扩到原来的两倍，并把数据增强从部分来源推广到整个语料。

模型仓库给出了可上手的推理路径：Transformers 参考版本 5.16.1，GPU 上跑线性注意力层需要 flash-linear-attention 支持；vLLM 侧提供 Docker 镜像，支持张量并行与基于多 token 预测的投机解码，示例用四张 GPU。仓库还带一个 LoRA 微调示例，按说明需要四张 80GB 显存的 GPU 并用 FSDP2。

Huggingface：https://huggingface.co/yandex/AliceAI-Foundation-80B-A3B-Base

好文章，需要你的鼓励

# 报错信息分析与调试指南 ## 任务说明请分析用户提供的报错信息，推测可能的错误原因，并提供系统性的调试步骤。 ## 分析要求 1. **错误类型识别** - 确定是语法错误、运行时错误、逻辑错误还是环境配置错误 - 识别具体的错误类别（如空指针、数组越界、类型不匹配等） 2. **原因推测** - 基于错误信息中的关键线索进行合理推断 - 考虑常见的导致此类错误的编程场景 - 分析可能的代码问题或环境问题 3. **调试步骤** - 提供从简单到复杂的逐步调试方法 - 包括代码检查、日志添加、环境验证等具体操作 - 给出预防类似错误的最佳实践建议 ## 输出格式 - **错误类型**：[具体的错误分类] - **可能原因**： 1. [原因1] 2. [原因2] 3. [原因3] - **调试步骤**： 1. [步骤1] 2. [步骤2] 3. [步骤3] 4. [步骤4] - **解决方案**：[具体的修复建议] ## 示例 **输入**：【报错信息】 ``` TypeError: Cannot read property 'length' of undefined at processData (app.js:25:18) at main (app.js:10:5) ``` **输出**： - **错误类型**：运行时错误 - TypeError - **可能原因**： 1. 变量未正确初始化就被访问其 length 属性 2. 函数参数传递了 undefined 值 3. 异步操作中数据还未加载完成就尝试访问 - **调试步骤**： 1. 检查 app.js 第25行附近的变量声明和赋值 2. 在访问 length 属性前添加类型检查：`if (variable && variable.length)` 3. 使用 console.log() 输出相关变量的值确认其状态 4. 检查函数调用时传入的参数是否正确 - **解决方案**：在访问对象属性前先验证对象是否存在，或确保变量在使用前已被正确初始化。