能真正在本机跑起来的 Grok 只有两个版本:Grok-1 与 Grok-2。前者用 Apache 2.0 完全放开,后者换成自定义社区许可;Grok 3 之后的版本没有公开权重,只能接官方 API(api.x.ai)。本文从权重体积、显存门槛、推理框架与许可条款四条线,说明本地部署Grok能做到哪一步。 本地部署Grok能跑哪几个版本
答案是两个:Grok-1 和 Grok-2。两者相隔一年半,许可条款也完全不是一回事。
Grok-1 的权重发布于 2024 年 3 月 17 日。官方公告的表述是放出这个 314B 混合专家模型的权重与网络架构,许可为 Apache 2.0。它来自预训练阶段,是一个没有做过对话微调的基座模型。
Grok-2 的权重在 2025 年 8 月上架 Hugging Face 的 xai-org 组织,模型卡自述这是 xAI 在 2024 年训练并使用过的模型,并明确它是一个后训练模型。参数总量官方模型卡没有标注,量化项目方与第三方普遍按 2700 亿计。名称上有个出入:宣布时在 X 上把它称作 Grok 2.5,模型卡从头到尾写的是 Grok 2。
Grok 3 及之后的版本没有权重。2025 年 8 月曾承诺约六个月后开源 Grok 3,2026 年 2 月又确认过一次,但截至 2026 年 10 月,xai-org 组织下仍然只有 grok-1 与 grok-2 两个仓库,当前旗舰同样是闭源。
| | | | | |
|---|
| | | 314B,8 个专家、每 token 激活 2 个 | | |
| 2025-08 上架,首次提交 2025-08-22 | | | | |
| | | | | |
Grok-1与Grok-2的权重下载入口
两个版本的官方权重都放在 Hugging Face 的 xai-org 组织下,仓库名分别是 grok-1 和 grok-2。分发渠道不多:Grok-1 另有官方 GitHub 仓库,同时给出代码和一条磁力链接;Grok-2 只有 Hugging Face 一个官方来源。
- Grok-1:官方仓库提供 JAX 示例代码与磁力链接,权重本身要单独下载,把检查点目录放进仓库根目录下的 checkpoints 里。
- Grok-2:模型卡给出下载命令,用 Hugging Face 命令行工具把仓库拉下来即可。官方说明完整下载应是 42 个文件、约 500 GB,并提示下载过程可能报错,需要重试到成功。
常见的坑在这里:Grok-1 的代码和权重是分开的,权重不在代码仓库里。忘了单独拉检查点,示例脚本启动时会直接报找不到文件。
部署步骤与推理框架支持
官方只给了两条可以照做的路:Grok-1 的 JAX 示例,和 Grok-2 的 SGLang 服务命令。
- Grok-1(JAX):克隆仓库、装依赖、放好检查点,然后运行示例脚本。依赖只有四个包:dm_haiku、JAX(CUDA 12 版)、numpy、sentencepiece。官方自述这套示例按 1×8 的网格切分推理,也就是 8 张卡;MoE 层的实现效率不高,选这套写法是为了不依赖自定义算子、方便验证模型正确性。
- Grok-2(SGLang):官方要求 SGLang 不低于 v0.5.1。检查点按 TP=8 切分,需要 8 张显存大于 40GB 的卡,服务命令里配 fp8 量化与 triton 注意力后端。服务起来后要按官方给出的对话模板发请求,模板不对拿不到正常输出。
- 社区路径(llama.cpp):llama.cpp 已支持这两个架构,Grok-1 的支持在 2024 年 3 月 23 日合并,Grok-2 的支持在 2025 年 9 月 14 日合并。装好之后用命令行工具或服务端程序加载量化版本即可。
| | | |
|---|
| | | |
| | | 官方给 Grok-2 的服务配方,仓库内有 Grok-1 与 Grok-2 的 AMD 平台精度测试 |
| | | |
Hugging Face Transformers | | | |
| | | |
表格最后两行需要单独说一句。网上不少教程直接写「vLLM 一条命令起 Grok-1」,这条路在官方仓库里并不存在,别照着抄。
显存门槛与量化档位对照
所有门槛都由原版体积决定,先看这组数字。Grok-1 官方提供的 int8 检查点实测共 770 个文件、318.2 GB(约 296 GiB);Grok-2 的 bf16 权重按官方说法约 500 GB,社区把它重新打包成单个仓库后,实测 539 GB。
社区量化把门槛压低了不少。Grok-2 最小能做到 61.4 GB(IQ1_M),Grok-1 最小约 65.3 GB(IQ1_S),都能塞进一台大内存的统一内存机型。
| | | |
|---|
| | | |
| | | 1 张 80GB 显卡加 MoE 层卸载到内存,另需约 200GB 内存,约 5 tokens/s |
| | | |
| | | 单台 128GB 统一内存机型,或 1×24GB 显卡加 128GB 内存,5+ tokens/s |
| | | |
| | | |
| | | |
| | | |
| | | |
实际跑起来有两个技巧能省不少事。一是 MoE 层卸载,用 -ot ".ffn_.*_exps.=CPU" 把所有专家层放到内存、只把非专家层留在显卡上,这是小显存跑起来的常用手法。二是长上下文吃显存,官方配置文件里 Grok-2 的最大位置数是 131072,要跑满 128K 得配 KV 缓存量化才够用。
许可证差异与商用限制
两个版本的许可条款差别很大,这决定了能不能拿它做产品。
Grok-1 是 Apache 2.0:商用、修改、再分发都不需要额外授权。
Grok-2 换成了自定义的 xAI 社区许可协议,协议文件内标注最近更新于 2025 年 11 月 4 日。权重照样放开下载,但带了几条硬约束:
- 用途:允许非商业与研究用途;商业用途的前提是遵守 xAI 可接受使用政策里的三条底线。
- 训练禁令:不得用权重、衍生品或输出(含生成的数据)去训练、创建或改进任何基础模型、大语言模型或通用人工智能模型,对 xAI 材料本身做微调不在禁止范围内。
- 署名:分发时要附上这份许可与版权声明,并在相关材料或界面显著标注 Powered by xAI。
- 可撤销:许可随时可能终止,参与针对 xAI 的专利或版权诉讼也会立即终止。
- 合规:适用得克萨斯州法,并明确要求遵守出口管制与制裁相关法律。
| | |
|---|
| | |
| | |
| | |
| | |
| | |
| | 得克萨斯州法,Tarrant County 专属管辖 |
按开放源码促进会的定义,带使用领域限制、又可撤销的许可并不算开源许可,更准确的叫法是开放权重。所以「Grok 开源了吗」这个问题,Grok-1 的答案没有保留,Grok-2 的答案要打个折扣。
本地部署的两个版本有哪些坑
- Grok-1 不会跟你聊天:它是预训练基座模型,不是对话模型。直接问它问题,拿到的不是 Grok 聊天那样的回答,要当助手用必须自己微调。
- 先备好磁盘和带宽:两个版本的原版体积都在几百 GB 量级,Grok-2 官方还明确提示下载过程可能报错,得重试到成功。
- 权重与代码分开下:Grok-1 的检查点不在代码仓库里,漏了这一步示例脚本会直接启动失败。
- 量化版不等于原版:社区量化都不在官方支持范围内,精度损失与兼容性以发布方说明为准。
- 商用前逐条读许可:Grok-1 可以放心用;Grok-2 有不得用于训练其他大模型和署名两条硬约束。
- Grok 3 之后的版本本地跑不了:没有权重可下,只能接官方 API 或用网页版与 App。
- 别把客户端当成本地模型:官方还有一套跑在本机的终端客户端,装完确实在本地运行,但推理发生在云端,跟下载权重不是一回事。
本地部署Grok常见问题
Q:权重下载要花钱吗?
A:不要钱。Grok-1 与 Grok-2 的权重都可以免费下载,成本主要落在硬件和电费上。
Q:一张消费级显卡能跑吗?
A:原版不行,官方给的 Grok-2 配方就是要 8 张 40GB 以上的卡。走量化之后最小档约 61 GB,仍需要大显存或多卡拼。
Q:大概要准备多大硬盘?
A:Grok-1 的官方 int8 检查点约 318 GB,Grok-2 原版约 500 GB;社区量化之后落在 61 GB 到 320 GB 之间。
Q:部署完能像 Grok 聊天一样回答吗?
A:Grok-1 不行,它是基座模型;Grok-2 可以,但必须按官方给的对话模板配置,模板错了输出会不正常。
Q:用哪个推理框架最省事?
A:想在小机器上跑就走 llama.cpp,两个架构都已进主线;要多卡高吞吐就按官方的 SGLang 配方来。
Q:Grok 3 或更新的版本有权重吗?
A:没有。原定 2026 年 2 月前后开源 Grok 3,至今未见发布,之后几代也没有开放权重。
Q:下载地址在哪?
A:官方权重集中在 Hugging Face 的 xai-org 组织下,Grok-1 另有官方 GitHub 仓库与磁力链接。
Q:生成速度大概多少?
A:量化项目方给出的参考是 3bit 档在 128GB 统一内存机型上 5 tokens/s 以上,8bit 档配 MoE 层卸载约 5 tokens/s。原版多卡配置的速度取决于集群规模。
Q:不想折腾硬件,有没有更省事的办法?
A:两条路。一是装官方终端客户端或直接用网页版,二是改用体量更小的开放权重模型,国内厂商在 Hugging Face 上开放的权重已成体系,单卡可跑的选择比 Grok 多得多。
Grok 3 之后会不会真的放出权重、量化档位还会不会继续下探,这两点决定了本地部署Grok的门槛最终停在哪儿。想跟进这条线的变化,可以关注本站的 AI 工具栏目,有新的权重发布或许可变动,我们都会在这篇本地部署Grok的整理里同步更新。