llama.cpp 在 Windows 上部署有三条路:下载官方预编译包(最省事,按显卡选后端)、用 winget 或 conda 一键安装(免编译、自动更新)、用 MSVC 加 CMake 自己编译(要最新特性或自定义后端)。官方仓库是 GitHub 上的 ggml-org/llama.cpp,MIT 协议,Windows 预编译包已覆盖 CPU、CUDA、Vulkan、SYCL、ROCm、OpenVINO 等后端。
llama.cpp 是什么,为什么在 Windows 本地跑
llama.cpp 的官方自我介绍只有一句:LLM inference in C/C++,用 C 和 C++ 实现的大模型推理引擎。它构建在 ggml 这个张量库之上,主打"最小依赖、开箱即用",官方描述里明确写着纯 C/C++ 实现、没有第三方依赖。
几个和部署直接相关的特性,都来自官方说明:
- 量化范围很宽:支持 1.5 位到 8 位的整数量化,位宽越低模型文件越小、跑得越快,代价是精度损失。
- x86 指令集吃得很透:AVX、AVX2、AVX512 以及 AMX 都有对应支持,新一点的 CPU 能直接受益。
- 支持 CPU 与 GPU 混合推理:显存装不下整个模型时,可以把一部分层留在内存里,凑合也能跑。
- 文本和视觉模型都能跑:官方描述里写的是 LLM 与 VLM 推理,也就是多模态也在范围内。
至于为什么要放到本地跑,理由通常就三条:数据不出本机、不按 token 计费、断网也能用。模型文件用的是 GGUF 格式,官方命令甚至可以直接从 Hugging Face 上拉取并运行,不用提前手动下载。
这个项目活跃度很高。仓库元数据显示,截至目前累计约 13 万 star,而最近一次代码提交时间与本文核查日期是同一天,也就是说,如果你打算长期用,几乎随时都能拿到新版本。
Windows 部署的三条路径怎么选
官方给出的安装方式有五类,但对 Windows 用户来说实际就是三条路。先看这张对照表,再决定走哪条。
| | | |
|---|
| | | 想指定后端(CUDA、Vulkan、SYCL、ROCm、OpenVINO)的人 |
| | | |
| | | 要最新特性、要自定义后端,或使用 Windows on ARM 的人 |
简单说:先看显卡定后端,再看需求定方式。NVIDIA 独显想榨性能就走 CUDA 预编译包;其他显卡走 Vulkan 预编译包最稳;只是想在本地随便跑个小模型,直接用 winget 装完就完事。
免编译安装:预编译包与 winget
不想碰编译器的,这两条路够了。
第一条是下载官方预编译包。到官方 Releases 页找 Windows 资产,命名规律是 llama-b<版本号>-bin-win-<后端>-<架构>.zip,解压即用。下表按官方给出的资产名整理,能直接对上你的硬件。
| | |
|---|
| | -bin-win-cpu-x64 / -arm64 |
| | -bin-win-cuda-<版本>-x64 / -arm64 |
| NVIDIA、AMD、Intel 等各厂商 GPU | -bin-win-vulkan-x64 / -arm64 |
| | |
| | |
| | -bin-win-openvino-<版本>-x64 |
| | -bin-win-opencl-adreno-arm64 |
这里有两个容易忽略的细节。一是 CUDA 版是"主包加运行时包"两件套,发布页里除了 llama-b...-bin-win-cuda-... 之外,还有单独的 cudart-llama-bin-win-cuda-...,两个都要下。二是架构别下错,arm64 是给 Windows on ARM 设备的,普通 PC 一律用 x64。
第二条是包管理器一键装。官方安装文档给出的两条命令,都适合懒得挑包的人:
- winget(仅 Windows):在终端执行 winget install llama.cpp。官方说明这个包会随着 llama.cpp 的新版本自动更新,装完不用自己折腾升级。
- conda-forge(Windows、macOS、Linux 通用):执行 conda install -c conda-forge llama.cpp,用 mamba 就换成 mamba install。这条渠道在 Windows 上提供 CUDA 和 Vulkan 两种构建。
另外官方 README 还给了一个通用安装脚本,Windows 下用 PowerShell 执行 irm https://llama.app/install.ps1 | iex 即可。脚本地址挂在官方仓库自报的主页 llama.app 上,属于官方渠道。
版本渠道也要分一下:稳定版是 v 开头的标签(当前最新 v0.6.0),每夜版是 b 开头的标签(当前最新 b11559)。每夜版更新极其频繁,一天能出好几版;预编译包绝大多数发布在每夜版下面。
源码编译:MSVC 与官方 preset
需要最新特性、或者官方预编译包没覆盖你的后端时,就走源码编译。官方 build 文档的第一段就是 CPU 版的最简写法:
- 配置并编译:cmake -B build 之后执行 cmake --build build --config Release。
- 想编得快一点,在构建命令后加 -j 并行,或者干脆换用 Ninja 生成器(官方建议)。
Windows 上用 MSVC 的话,官方给的准备动作很具体:装 Visual Studio 2022(社区版即可),在安装器里至少勾选这几项:C++ CMake Tools for Windows、Git for Windows、C++ Clang Compiler for Windows,以及 MSBuild Support for LLVM-Toolset(clang)。
装好工具链之后,官方已经备好了 CMake preset,省去手写一堆参数:普通 x64 机器用 cmake --preset x64-windows-llvm-release,Windows on ARM 用 cmake --preset arm64-windows-llvm-release,后面再跟一条对应的构建命令即可。
如果要的是 GPU 后端,编译前还得多装对应的 SDK。以 Vulkan 为例,官方的"Windows 用户"一节写得很直白:下载并解压 w64devkit,再安装 Vulkan SDK(用默认设置),然后用 w64devkit 去拷贝 Vulkan 依赖。CUDA 与 HIP 各自也有独立的编译章节,分别对应 NVIDIA 和 AMD 的工具链。
拉模型与运行:llama cli 与 llama serve
装完之后,日常就用两个命令:llama cli 走交互对话,llama serve 起一个服务。官方 README 给的示例很省事,模型都能直接从 Hugging Face 拉:
- 交互对话:llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF
- 起服务:llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF
-hf 的写法是 <用户>/<模型>[:量化],量化部分可以省略,按官方命令行文档的说法,省略时默认用 Q4_K_M,找不到就回退到仓库里的第一个可用量化。下面是几个最常用的参数,都是从官方 CLI 文档里抄下来的。
| |
|---|
-hf, --hf-repo <用户>/<模型>[:量化] | 直接从 Hugging Face 拉取模型,量化可省略 |
| |
-ngl, --n-gpu-layers <N|auto|all> | 放进显存的层数,可填具体数字、auto 或 all,默认 auto |
| |
| |
| |
| |
| |
-fa, --flash-attn <on|off|auto> | 是否启用 Flash Attention,默认 auto |
llama serve 不只是把模型挂到网页上。按官方 server 文档,它提供的是兼容 OpenAI 的 chat completions、responses 与 embeddings 接口,另外还兼容 Anthropic 的 Messages API,支持并行解码与多用户、连续批处理、多模态输入、函数调用与工具调用、投机解码,并自带一个 Web UI 和监控端点。也就是说,任何按 OpenAI 格式写的客户端,把地址指过来就能用。
后端与量化:显卡怎么选、显存怎么估
官方支持的后端有一长串,对应关系基本是"什么显卡配什么后端":CUDA 给 NVIDIA、HIP 给 AMD、MUSA 给摩尔线程、SYCL 给 Intel GPU、Vulkan 通吃各家 GPU、Metal 留给 Apple、CANN 对应昇腾 NPU、OpenCL 面向 Adreno 这类移动 GPU。
放到 Windows 桌面上,实际最常用的就两条:NVIDIA 显卡优先 CUDA,性能和生态最成熟;其他显卡优先 Vulkan,兼容性最好,AMD、Intel 核显都能吃上加速。AMD 另有一条 ROCm 包、Intel 独显另有 SYCL 包,属于进阶选项,需要额外装对应工具链。
至于量化怎么选,先说官方给的边界:llama.cpp 支持 1.5 位到 8 位的整数量化,位宽是唯一可调的"体积旋钮"。选位宽的时候可以按一个粗略公式估体积:模型文件大小约等于 参数量 × 量化位数 ÷ 8,比如 70 亿参数配 4 位量化,权重文件大致在 3.5GB 上下。这只是估算,实际占用还要加上随上下文长度增长的 KV 缓存,以及运行时本身的开销,上下文开得越大,这部分涨得越明显。
显存不够时不用放弃 GPU:官方明确支持 CPU 与 GPU 混合推理,用 -ngl 控制放多少层进显存即可,填 auto 让程序自己判断,或直接给一个具体层数。更省事的做法是先跑一次 --list-devices,确认 llama.cpp 到底认出了哪些设备,再决定卸载多少层。
使用前要注意的几件事
- CUDA 版别只下主包。发布页里 CUDA 构建分成两部分,主程序包之外还有一个 cudart 运行时包,漏掉后者会缺少运行库。
- 架构别下错。x64 与 arm64 不能通用,只有 Windows on ARM 设备才用 arm64;装错架构直接跑不起来。
- 后端要和显卡对上。装错后端轻则用不上 GPU 加速、退化成纯 CPU,重则启动即报错。
- 版本更新极快。官方每夜版一天能发好几版,想追新用 b 开头的标签,求稳就用 v 开头的稳定版,别在同一台机器上混着用不同后端与不同版本的二进制。
- 显存和内存都留余量。权重只是第一笔开销,上下文越长 KV 缓存越大;把上下文设得过长,可能直接把显存吃满。
- 模型来源要可靠。用官方命令的 -hf 直接从 Hugging Face 拉取,或自行下载可信的 GGUF 文件;别从来路不明的网盘包导入模型。
- 分清两层的许可。llama.cpp 自身是 MIT 协议,但你下载的每个模型各有自己的许可条款,商用前要单独确认模型那一份。
- 磁盘空间要预留。多个量化版本、多个后端包加在一起体积不小,建议单独放一个目录管理。
llama.cpp Windows 部署常见问题
Q:llama.cpp 能在 Windows 上用吗?
A:能。官方同时提供预编译包、winget 与 conda 安装、以及源码编译三条路,Windows 是一等支持的平台。
Q:不装 Visual Studio 能跑起来吗?
A:能。预编译包解压即用,winget 与 conda 也都不需要本地编译环境,只有走源码编译时才需要装 MSVC 工具链。
Q:我的是 AMD 或 Intel 显卡,能用上 GPU 加速吗?
A:可以。通用做法是下 Vulkan 版预编译包;AMD 另有 ROCm 构建,Intel 独显另有 SYCL 与 OpenVINO 构建。
Q:必须自己先下载模型吗?
A:不必。加 -hf 参数时会直接从 Hugging Face 拉取并运行,也可以先用 -m 指定本地 GGUF 文件。
Q:不写量化版本会下哪个?
A:按官方命令行文档,-hf 的量化部分可省略,省略时默认 Q4_K_M,找不到才回退到其他可用量化。
Q:显存不够怎么办?
A:两条路,一是换更低位宽的量化缩小模型,二是用 -ngl 只把一部分层放进显存,剩下的交给 CPU 混合推理。
Q:winget 装出来的版本会自己更新吗?
A:会。官方安装文档说明这个包随 llama.cpp 的新版本自动更新,等于把升级也一并托管了。
Q:稳定版和每夜版怎么选?
A:稳定版是 v 开头的标签,每夜版是 b 开头的标签。想要新特性用每夜版,生产环境或只求稳就用稳定版。
Q:它能当 OpenAI 接口用吗?
A:可以。llama serve 提供兼容 OpenAI 的 chat completions、responses 与 embeddings 接口,还兼容 Anthropic Messages API,并自带 Web UI。
llama.cpp 在 Windows 上的部署,要么按显卡选后端,要么按需求选方式。不想折腾就 winget 一条命令,想要 GPU 性能就下对应后端的预编译包,要追最新特性再上源码编译。想持续跟进 llama.cpp 的版本变化与 Windows 部署方式的更新,可以关注本站的工具栏目,有新的后端或安装方式我们会同步补上。