PrismML 发布 Ternary Bonsai 2 27B：27B 三值多模态压到 5.93GB，官方自测保留率 98.2%

开源模型推理优化本地化运行多模态生成模型压缩与加速量化压缩Apache 2.0协议GitHub开源

2026-09-18 11:06

43 浏览

0 点赞

AI 速览

PrismML 发布基于 Qwen3.8 27B 的三值量化多模态模型 Ternary Bonsai 2 27B，体积仅 5.93GB，适合希望在消费级 GPU 上本地运行高性能多模态大模型的开发者。核心事实 - 技术底座：基于通义千问 Qwen3.8 27B，采用三值量化（{-1,0,+1}）+ FP16 分组缩放，有效位宽 1.76 bit - 模型性能：官方自测在 20 项基准聚合得分为 83.9，保留全精度基线（85.4）的 98.2% - 部署要求：GGUF 格式需使用 PrismML 定制版 llama.cpp（prism-b10658+），因依赖 Walsh–Hadamard 变换 - 开源许可：权重已在 Hugging Face 以 Apache 2.0 协议开源，支持 262K 上下文与图文输入 - 硬件表现：RTX 5090 峰值吞吐 143 tokens/秒，RTX 4090 每 token 能耗 0.714 mWh，比某 8B 全精度模型节能约 40% 避坑提示 - 性能数据为官方自测 thinking 模式聚合分，无第三方复测，单项基准未公开 - 使用标准 llama.cpp 加载 GGUF 文件会导致拒绝加载或输出乱码，必须切换运行时 - 143 tokens/秒为峰值吞吐，非持续速率；对比的 8B 模型未具名，节能数据参考性有限价值点为本地部署高性能多模态大模型提供了新选项，尤其适合对体积敏感但需保留复杂任务能力（如编程智能体、工具调用）的场景。

9月18日消息，PrismML 发布 Ternary Bonsai 2 27B。这是基于 Qwen3.8 27B 的三值量化多模态模型，权重被限制在 {-1, 0, +1} 加 FP16 分组缩放，有效位宽 1.76 bit，GGUF 格式磁盘占用 5.93GB，约为全精度体积的九分之一。PrismML 公布的基准数据显示，它在 20 项基准上取得 83.9 的聚合分，保留 Qwen3.8 27B 全精度基线（85.4）的 98.2%。

"近无损"是 PrismML 对这组数字的表述。需要说明的是，83.9 与 98.2% 均为官方自测的 thinking 模式聚合分，目前没有第三方复测，单项基准表现也未逐一核验。比标签更实质的是另一个变化：相比两个月前发布的一代 Bonsai 27B（保留率 95%），这一代把量化带来的能力损耗进一步收窄，同时把一个 27B 多模态模型推到了消费级 GPU 可本地运行的体积。

PrismML 发布 Ternary Bonsai 2 27B：27B 三值多模态压到 5.93GB，官方自测保留率 98.2%

部署侧的数字，以及一个被略过的前提

5.93GB 对应 GGUF 仓库中的 PTQ1_0 打包（1.76 bit/权重）。同一仓库还提供 PQ2_0（2.16 bit/权重，7.25GB）与 MLX 2-bit（2.25 bit/权重，8.49GB，含全精度视觉塔）两种格式，模型权重已在 Hugging Face 以 Apache 2.0 开源，支持 262K 上下文与图文多模态输入。

吞吐方面，PrismML 称 Ternary Bonsai 2 27B 在 NVIDIA GeForce RTX 5090 上最高可达 143 tokens/秒，M5 Max 上为 46.8 tokens/秒；RTX 4090 上每 token 能耗 0.714 mWh，官方称比一个 8B 全精度模型节能约 40%。这里的 143 tokens/秒是峰值而非持续速率，作为对照的 8B 模型官方未具名。

真正影响可用性的是一个部署前提。文档明确写道，两种 GGUF 打包都需要 PrismML 自己的 llama.cpp fork（prism-b10658 或更新版本）：三值权重存放在固定旋转基下，运行时需要执行 Walsh–Hadamard 变换，而这一变换目前尚未进入 llama.cpp 上游。使用未经修改的 stock 构建，PQ2_0 文件会被拒绝加载，PTQ1_0 文件则会静默加载并输出乱码。MLX 打包不受此限制，可在原生 MLX 上运行。换言之，下载文件之后还需要换运行时，这是"5.93GB 能跑"这句话背后容易被略过的成本。

98.2% 是怎么算出来的

98.2% 并不是一个平均到单项的数字。按官方文档，它来自 20 项基准的 thinking 模式聚合分：Ternary Bonsai 2 27B 为 83.9，Qwen3.8 27B FP16 基线为 85.4，两者相除得到 98.2%。基准覆盖推理、数学、编程、指令遵循、视觉与智能体工具调用，包括 τ²-bench、BFCLv3、HumanEval+、LiveCodeBench v6、MBPP+、BigCodeBench、MMLU-Redux、GPQA Diamond、AIME 2026、GSM8K、MATH-500、CharXiv、A-OKVQA、OmniDocBench v1.6、RealWorldQA 与 OCRBench v2 等。

PrismML 特别强调能力保留的位置：编程智能体、工具调用系统、多模态工作流与长程任务对模型退化最敏感，因为小错误会在多步执行中累积；这代模型恰好在这些区域保住了大部分全精度性能。官方将其概括为"智能密度"（每 GB 智能量）上的领先，并给出与其他同参数量模型的对比图，但逐项可核验的对照数据并未随文发布。

三值加旋转基：把 27B 压到 1.76 bit 的机制代价

模型总参数 27.36B，其中语言模型 24.35B、视觉塔 0.47B、embedding 与 LM head 合计 2.54B，采用混合注意力（约 75% 线性 / 25% 全注意力）、SwiGLU MLP、RoPE 与 RMSNorm。低比特表示端到端覆盖整个语言模型：权重在固定旋转基下取三值，配合 FP16 分组缩放（g128）与分块 Hadamard 旋转。真三值位宽为 1.72 bit/权重，1.76 bit 是 GGUF 打包口径。

这套机制是体积与保留率同时改善的原因，也是运行时依赖的来源。旋转基把权重限制到 {-1, 0, +1}，代价是推理时必须在线执行 Walsh–Hadamard 变换——这正是上游 llama.cpp 尚未支持、必须用 fork 的技术理由。

这对本地部署意味着什么

对在消费级硬件上跑大模型的开发者，这代模型把"27B 多模态"从"勉强塞得下"推向"放得下还有余量"。5.93GB 的占用意味着一张 24GB 显存的 RTX 5090 或 4090 不仅能装下模型，还能为 262K 上下文和视觉输入留出足够空间，而 143 tokens/秒的峰值吞吐让本地编码-调试循环、截图迭代这类工作流在速度上变得可用。PrismML 在发布稿中把这类场景具体化为编码智能体、计算机使用、私有文档分析本地化，以及本地处理敏感任务、按需升级到云端的混合编排。

限制同样具体。GGUF 必须换用 PrismML 的 fork，对已经围绕上游 llama.cpp 或主流推理框架搭建部署链的人是一笔真实迁移成本；官方也称两种打包"都不是全面更快"——PTQ1_0 更小，PQ2_0 解包更省因而 prompt 处理更快。就证据能支持的范围而言，可以说的是 PrismML 在三值量化路线上把 27B 多模态的保留率推到了 98.2% 这个量级，并给出了可下载、可运行的权重；说不出口的是它相对主流 INT4、INT8 方案的整体优劣——没有逐项对照数据，也没有第三方复测，本地 27B 工作流是否成熟也还要看工具链兼容性这一关。

huggingface：https://huggingface.co/collections/prism-ml/bonsai-2

好文章，需要你的鼓励

# 报错信息分析与调试指南 ## 任务说明请分析用户提供的报错信息，推测可能的错误原因，并提供系统性的调试步骤。 ## 分析要求 1. **错误类型识别** - 确定是语法错误、运行时错误、逻辑错误还是环境配置错误 - 识别具体的错误类别（如空指针、数组越界、类型不匹配等） 2. **原因推测** - 基于错误信息中的关键线索进行合理推断 - 考虑常见的导致此类错误的编程场景 - 分析可能的代码问题或环境问题 3. **调试步骤** - 提供从简单到复杂的逐步调试方法 - 包括代码检查、日志添加、环境验证等具体操作 - 给出预防类似错误的最佳实践建议 ## 输出格式 - **错误类型**：[具体的错误分类] - **可能原因**： 1. [原因1] 2. [原因2] 3. [原因3] - **调试步骤**： 1. [步骤1] 2. [步骤2] 3. [步骤3] 4. [步骤4] - **解决方案**：[具体的修复建议] ## 示例 **输入**：【报错信息】 ``` TypeError: Cannot read property 'length' of undefined at processData (app.js:25:18) at main (app.js:10:5) ``` **输出**： - **错误类型**：运行时错误 - TypeError - **可能原因**： 1. 变量未正确初始化就被访问其 length 属性 2. 函数参数传递了 undefined 值 3. 异步操作中数据还未加载完成就尝试访问 - **调试步骤**： 1. 检查 app.js 第25行附近的变量声明和赋值 2. 在访问 length 属性前添加类型检查：`if (variable && variable.length)` 3. 使用 console.log() 输出相关变量的值确认其状态 4. 检查函数调用时传入的参数是否正确 - **解决方案**：在访问对象属性前先验证对象是否存在，或确保变量在使用前已被正确初始化。