Inco 开源 Mac 推理引擎 Splash：一个模型一套引擎，27B 自测提速两倍

代码生成开发工作流开发者生态开源项目安装开源模型推理优化端侧部署开源工具部署本地化运行模型部署Apache 2.0协议GitHub开源

2026-09-20 15:48

71 浏览

0 点赞

AI 速览

Inco AI 开源专为 Apple Silicon 定制的本地推理引擎 Splash，通过模型专属优化在 Mac 上显著提升 Qwen 大模型推理速度，适合追求高性能本地 Agent 并发的开发者。核心事实 - 技术路线：Splash 为每个模型定制整套推理栈，放弃通用运行时以换取极致性能 - 性能表现：Qwen3.8-27B 在 M5 Pro 上短提示解码达 74 tok/s，是 oMLX 的 2 倍；四并发子 Agent 吞吐领先近 4 倍 - 模型支持：当前仅支持 Qwen3.8-27B 和 Qwen3.6-35B-A3B，无通用回退路径 - 接入方式：提供 OpenAI/Anthropic 兼容 API，支持工具调用与图像输入，LM Studio Bionic 版已集成 - 硬件要求：需 M3+ 芯片、macOS 26.4+、36 GB 内存（建议 48 GB） - 团队背景：Inco 的 DFlash 草稿模型已被 SGLang/vLLM 等四大框架采用，下载超 600 万次避坑提示 - 性能数据依赖具体硬件：X 平台流传的 144 tok/s 来自更高配的 M5 Max，非基准测试所用 M5 Pro - 模型扩展成本高：每新增一个模型需重新训练草稿并生成专用 kernel，非即插即用价值点为 Mac 开发者提供了一个在 Agent 并发场景下远超通用引擎的高性能本地推理选项，尤其适合固定使用 Qwen 模型的编程 Agent 工作流。

9月20日消息，推理基础设施公司 Inco AI 开源了面向 Apple Silicon 的本地推理引擎 Splash（Apache-2.0），思路与主流引擎相反：不做能跑所有模型的通用运行时，而是为每个支持的模型单独定制整套推理栈。按 Inco 自己公布的基准，Splash 跑 Qwen3.8-27B 的解码速度是所测次快引擎 oMLX 的 2 倍，智能体拆成四个并行子任务时优势扩大到接近 4 倍。

Inco 开源 Mac 推理引擎 Splash：一个模型一套引擎，27B 自测提速两倍

数字是怎么测出来的

Inco 在博客里给出了完整方法：所有引擎跑在同一台 48 GB 内存的 M5 Pro 上，用 NVIDIA SPEED-Bench 的编程任务集，上下文最长 32K，各引擎使用各自推荐设置。在这套口径下，Splash 跑 Qwen3.8-27B 的短提示解码为 74 tok/s（oMLX 为 38、Ollama 为 24），32K 长上下文下保持 54 tok/s，领先幅度全程不衰减；跑 MoE 模型 Qwen3.6-35B-A3B 时短提示达 210 tok/s。差距更大的是缓存复用和并发：命中前缀缓存时首 Token 比 oMLX 快 6.6 至 7.3 倍；四个并发子 Agent 的合计吞吐达到次快引擎的 3.9 倍；16 个 32K 并发请求 Splash 全部完成，而通用内存策略只接受了 9 个。

社交平台上流传的「144 tok/s」需要单独说明：它来自 Inco 在 X 上演示的 M5 Max MacBook Pro，比基准所用的 M5 Pro 高一档，LM Studio 的发布稿也写作「最高 144」。两个数字不矛盾，但读者对号入座时该按自己机器的档位来。

代价是只支持两个模型

Splash 目前只支持 Qwen3.8-27B 和 Qwen3.6-35B-A3B，没有通用多模型运行时，也没有回退路径——这是设计使然，不是还没做完。省掉通用性换来的是三层定制：每个模型配一个单独训练的 DFlash 2 推测解码草稿；矩阵乘法和注意力 kernel 按该模型的确切形状生成（Inco 称这部分由其内部的 kernel agent 自动完成）；内存方案按模型预设，27B 的权重加草稿固定占约 16 GiB，其余内存按预算分配给 KV 缓存。模型层面的取舍由厂商承担，用户侧没有需要调的参数。

接入方式与生态

安装是两条命令：brew install incoai/tap/splash，然后 splash serve 指定模型。服务提供 OpenAI Chat Completions、Responses 和 Anthropic Messages 三套兼容 API，支持流式、工具调用、JSON Schema 输出和图像输入；splash claude、splash opencode、splash codex、splash hermes 可以把对应 Agent 工具一条命令接到本地模型上。LM Studio 在 Bionic 版中把 Splash 作为一等推理引擎集成，0.4.25 版本起可直接选用。硬件门槛是 M3 或更新的芯片、macOS 26.4 以上、36 GB 统一内存（建议 48 GB）。

为什么是这支团队

Inco 此前在开发者圈的积累来自 DFlash：这套推测解码草稿模型已进入 SGLang、vLLM、TensorRT-LLM 和 llama.cpp 四大推理框架，官方称下载量超过 600 万次，Meta、NVIDIA、小米、Poolside 都曾为自家模型配过 DFlash 加速草稿。Inco 的数据中心推理平台则自称是 Artificial Analysis 上 Kimi K3、MiniMax M3、GLM 5.3 等五个前沿开放模型的最快服务商——这一句属于厂商口径，未经第三方核对。

Splash 把本地推理的竞争点从「能不能跑」推向「Agent 场景下跑多快、能并发几个」。对 Mac 开发者，这多出一个开源且与主流 Agent 工具即插即用的选项；对 Ollama、oMLX 这类通用引擎，压力在于子 Agent 并发已是编程 Agent 的常态负载，通用运行时在这个场景的结构劣势难以靠调参抹平。Splash 自己的天花板也写在设计里：模型支持面今天只有两个，要扩到第三个，Inco 得再训练一个草稿、再生成一套 kernel。

好文章，需要你的鼓励

# 报错信息分析与调试指南 ## 任务说明请分析用户提供的报错信息，推测可能的错误原因，并提供系统性的调试步骤。 ## 分析要求 1. **错误类型识别** - 确定是语法错误、运行时错误、逻辑错误还是环境配置错误 - 识别具体的错误类别（如空指针、数组越界、类型不匹配等） 2. **原因推测** - 基于错误信息中的关键线索进行合理推断 - 考虑常见的导致此类错误的编程场景 - 分析可能的代码问题或环境问题 3. **调试步骤** - 提供从简单到复杂的逐步调试方法 - 包括代码检查、日志添加、环境验证等具体操作 - 给出预防类似错误的最佳实践建议 ## 输出格式 - **错误类型**：[具体的错误分类] - **可能原因**： 1. [原因1] 2. [原因2] 3. [原因3] - **调试步骤**： 1. [步骤1] 2. [步骤2] 3. [步骤3] 4. [步骤4] - **解决方案**：[具体的修复建议] ## 示例 **输入**：【报错信息】 ``` TypeError: Cannot read property 'length' of undefined at processData (app.js:25:18) at main (app.js:10:5) ``` **输出**： - **错误类型**：运行时错误 - TypeError - **可能原因**： 1. 变量未正确初始化就被访问其 length 属性 2. 函数参数传递了 undefined 值 3. 异步操作中数据还未加载完成就尝试访问 - **调试步骤**： 1. 检查 app.js 第25行附近的变量声明和赋值 2. 在访问 length 属性前添加类型检查：`if (variable && variable.length)` 3. 使用 console.log() 输出相关变量的值确认其状态 4. 检查函数调用时传入的参数是否正确 - **解决方案**：在访问对象属性前先验证对象是否存在，或确保变量在使用前已被正确初始化。