这套模型分两条线:开源权重(tiny/base/small/medium/large/turbo 六档尺寸加 .en 英文版)可本地免费部署,API 侧的 whisper-1 与后继的 gpt-4o-transcribe 系列则在云端按分钟计费。整套家族以 MIT 协议开源,支持 99 种语言的转写与互译,覆盖从手机到服务器的硬件。
结论:Whisper 模型分开源与 API 两条线
先把范围说清。它由 OpenAI 在 2022 年开源的语音识别模型家族,代码与权重以 MIT 协议放出,任何人都可下载、微调甚至商用,仓库在 github.com/openai/whisper 公开。
它由此衍生出两条路线:
一条是开源权重,提供 tiny 到 turbo 共六档尺寸,还有四个英文专用 .en 版本,能完全跑在本地;
另一条是 OpenAI 托管的 API,早期只有 whisper-1,2025 年起由 gpt-4o-transcribe 系列接棒。
回答这套模型有哪些,关键看你是想自己部署还是调用云端。单模型就能完成多语种转写、语音翻译和语种识别,不像传统方案要串多个模块,这也是它被广泛集成的原因。本地部署一次下载永久免费,但要自己管显存和算力;云端零运维,代价是按量付费且数据出网。选错路线比选错型号更常见,先把这一点想明白。
开源版的六档尺寸怎么排
开源版用模型越大越准、越小越快来分层。下面这张表把六个尺寸的参数量、显存和相对速度列清楚,速度以 large 为 1 倍基准,实测会随语言和硬件浮动。默认情况下命令行不指定模型会选 small,对英文够用;中文等多语种建议至少上 medium。
显存吃紧时,turbo 用约 6GB 就能拿到接近 large-v3 的速度,是性价比最高的本地选择。
六档之间不是简单线性,tiny 到 base 提精度明显,medium 到 large 边际变小但仍有差距,按机器能力选最划算的那档即可。不同尺寸也对应不同落地场景,嵌入式设备跑 tiny,桌面端 small 到 medium,服务器级 large-v3,追求实时吞吐用 turbo。
英文专用 .en 与 multilingual 怎么选
带 .en 后缀的版本只在英文上训练,英文任务上通常更准,tiny.en 和 base.en 的差距最明显,到 small.en、medium.en 后差异变小。large 没有 .en 版,本身就是多语种。如果你的场景只有英文,选 .en 能用更小模型拿到接近大模型的精度;要处理中文、日语等多语言,直接选不带后缀的多语种版本。它支持 99 种语言的多语种转写与互译,覆盖面足够日常使用。
实操上,纯英文字幕、会议记录用 small.en 或 medium.en 即可;做中文播客、日剧听写这类多语种任务,务必选多语种版本,否则识别会退化。对于绝大多数中文用户,直接认准多语种版本即可,不必纠结 .en。
large 三代怎么演进
large 是开源线里最准的一档,这几年的迭代都集中在它身上。下面这张表梳理四代关键变化。
| | | |
|---|
| | | |
| | | 增加训练轮次与正则,错误率再降约 10% 到 20% |
| | | Mel 特征 80 升到 128 bin,训练时长扩到约 500 万小时,多语种错误率再降,新增粤语标记 |
| | | 解码层 32 砍到 4,速度约 8 倍于 v3,精度接近,但不支持翻译 |
顺带一提,turbo 之后 OpenAI 没有再放出新的开源权重,开源线目前停在这一代。从 v2 到 v3,训练数据从约 68 万小时扩到约 500 万小时,Mel 特征维度也提高,中文等低资源语言的错误率下降最明显,这也是为什么现在本地部署普遍推荐 v3 系。v2 因稳定而成为云端 whisper-1 的底座,也说明这一代工程成熟度已被验证。
API 侧的 whisper-1 与 gpt-4o 系列
如果你不想自己部署,OpenAI 提供按分钟计费的云端转写。下面这张表把当前在售的接口列出来,注意后两个已不是同源架构,而是 GPT-4o 骨干的闭源模型,只是接力 Whisper 的位置,详见 openai.com 的 API 文档。
这类托管模型不需要你准备显卡,适合没有 GPU 的团队和移动端,但音频会传到 OpenAI 服务器,涉及隐私的数据要评估。没有 GPU 又想省心,云端是更省事的入口,只是要接受数据出网这一前提。
| | | |
|---|
| | | 基于 large-v2 的托管版,仍可用但已不主推 |
| | | GPT-4o 骨干,英文词错率约 2.46%,较 whisper-1 更准 |
| | | |
三者在 OpenAI 的 audio.transcriptions 接口下调用,按音频分钟数结算,不存在本地权重。调用时传音频文件即可,gpt-4o 两款支持 WebSocket 流式返回,边录边出字幕比 whisper-1 的批量模式更适合实时场景。价格按音频分钟计,长文件成本要提前估算。whisper-1 另有批量模式,单价更低但有时延,适合深夜离线大批量转写。
Distil-Whisper 与社区蒸馏版是什么
除了 OpenAI 官方权重,社区还有一类蒸馏版值得了解。Distil-Whisper 由 Hugging Face 团队用知识蒸馏做出,把 large-v2 压到约 7.56 亿参数,速度快约 5.8 倍、体积缩小约一半,词错率只差 1% 左右,适合短音频和边缘设备,模型卡托管在 Hugging Face 的 distil-whisper 仓库下。后续还出了 distil-large-v3 等变体。
蒸馏的思路是用原模型生成伪标签来训练小模型,牺牲少量精度换数倍速度,正好补上原版在边缘端的短板。和原版一样,蒸馏版也保留多语种能力,只是在长音频或强噪环境下精度略逊,部署到树莓派、浏览器等受限环境时优势明显。它们不是 OpenAI 原版,但共享 Whisper 生态,常通过社区推理框架调用。
常见误解:模型名与运行框架别混
围绕 Whisper 有几个常见混淆。
第一,whisper.cpp、faster-whisper、WhisperX 不是模型,而是把同一个 Whisper 权重跑起来的推理框架或加速方案,模型还是上面那些。
第二,gpt-4o-transcribe 常被误叫成 Whisper,它其实是 GPT-4o 架构的闭源模型,和上面开源权重不是一回事。
第三,turbo 不等于 large-v3,它是 large-v3 剪枝后的提速版,放弃了翻译任务。
第四,.en 版不能处理中文等多语种,强行用会掉精度。
第五,Whisper 在静音或低语音片段容易 hallucinate 出不存在的文本,医疗、法庭等高利害场景要加校验,不能盲目信任输出。
第六,Whisper 权重允许微调,但多数场景用原版零样本已够用,不必一上来就训练自己的版本。
常见问题
Q:开源线一共有几种模型?
A:官方开源权重有六档尺寸 tiny、base、small、medium、large、turbo,另有 tiny.en、base.en、small.en、medium.en 四个英文专用版,large 无 .en 版。
Q:哪个开源模型最准?
A:开源线里 large-v3 与 large-v3-turbo 的转写精度最高,在 Common Voice 与 Fleurs 评测上领先同尺寸;如果走云端,gpt-4o-transcribe 的英文词错率约 2.46%,比 whisper-1 低约 35%。
Q:本地跑推荐选哪个?
A:有独显且要最高精度选 large-v3;想兼顾速度与显存选 large-v3-turbo(约 6GB);低配设备用 small 或 base 更现实。没有独显也能用 CPU 跑 tiny 或 base,只是速度慢,长音频不推荐。
Q:.en 版本和普通的有什么区别?
A:.en 只在英文训练,英文更准,small 及以上差距变小;多语种需求必须选不带 .en 的版本。英文专属版在英文基准上常比同尺寸多语种版低 1 到 2 个百分点词错率,是小成本提质手段。
Q:whisper-1 和开源 large 什么关系?
A:whisper-1 是 OpenAI 托管接口,底层基于 large-v2,按分钟计费,与本地开源权重是两条路径。两者不能混用:本地加载的是开源权重文件,云端调用的是 OpenAI 托管的同一架构部署实例。
Q:turbo 支持翻译吗?
A:不支持。turbo 只做多语种转写,翻译任务需退回 large-v3 或 v2。对只转写不翻译的个人项目,turbo 是首选。
Q:它支持中文吗?
A:支持。它覆盖 99 种语言的多语种转写与翻译,中文在 large-v3 上表现稳定,实际测试对普通话和带口音中文都较稳,方言类仍建议人工复核。
Q:Distil-Whisper 能替代原版吗?
A:短音频和边缘设备上可以,速度更快、体积更小,长音频或高精度场景仍建议原版 large-v3。若只做英文短句,distil-large-v3 的性价比很高。
Q:这套模型能商用吗?
A:能。代码与权重均为 MIT 协议,可下载、微调、分发和商用,无需向 OpenAI 付费。唯一要注意的是输出可能含幻觉,商用前对关键内容做抽检。
动手前核九件事
1. 先想清要本地部署还是调云端,两条线的模型与计费完全不同。
2. 本地有独显优先 large-v3,显存紧张改 large-v3-turbo。
3. 低配或无独显用 small 或 base,别硬上 large 否则跑不动。
4. 只做英文就选 .en 版,中文等多语种必须选多语种版本。
5. 需要翻译任务时避开 turbo,它只转写不翻译。
6. 云端按分钟计费,whisper-1 已不主推,新项目优先 gpt-4o-mini-transcribe。
7. whisper.cpp、faster-whisper 是运行框架不是模型,别混淆。
8. 蒸馏版 Distil-Whisper 适合短音频与边缘设备,长音频仍用原版。
9. 商用无需授权,MIT 协议允许下载、微调与分发,但高利害场景要留人工复核,注意幻觉风险。
模型的选择本质是精度、速度与部署方式的取舍:本地用开源六档尺寸自由搭配,云端用 whisper-1 与 gpt-4o 系列按量付费。把场景、硬件和语种先定下来,你就能从这一长串模型里挑出真正合适的一个。