5月8日消息,OpenAI 在 Realtime API 一次推出三款新模型:GPT-Realtime-2、GPT-Realtime-Translate、GPT-Realtime-Whisper,分别对应「会推理的语音代理」「实时翻译流」「实时转录流」三种生产场景。这是 OpenAI 自 2024 年底开放 Realtime API 以来动作最大的一次更新——上一代 GPT-Realtime-1.5 的语音能力一直被开发者诟病「智商比文字版差一截」,新一代直接把 GPT-5 级推理拉到语音侧。但同步亮出来的定价单,让这次更新看起来更像是给企业级语音代理留的入场券,而不是中小开发者的红利。
GPT-Realtime-2:推理对齐 GPT-5,上下文 32K 翻到 128K
GPT-Realtime-2 是这次发布的主角。OpenAI 官方说法是「我们第一款具备 GPT-5 级推理的语音模型」,这话不算太虚——在 Big Bench Audio 上 high 模式比 Realtime-1.5 提升 15.2%,在 Audio MultiChallenge 上 xhigh 模式提升 13.8%,两个 benchmark 测的分别是音频推理深度与多轮指令遵循。上下文窗口从 32K 跳到 128K,意味着模型能跑更长的电话会议、更复杂的客服会话而不丢前情。
更实用的是几个工程化改动:可调推理强度(minimal 到 xhigh),并行工具调用(同时查日历、查 CRM、查天气),preambles(「稍等我查一下」这类填充句让用户知道模型在干活),以及失败时的语句兜底(不再直接静默而是说「这件事我现在处理不了」)。Zillow 在早期测试里报出的数字是:在自家最难的对抗性 benchmark 上,调优后的呼叫成功率从 69% 提到 95%,26 个百分点的提升直接让语音代理「从可演示变成可上线」。
Translate 与 Whisper:把翻译和转录从批处理推到流式
GPT-Realtime-Translate 覆盖 70+ 输入语言、13 输出语言,按分钟计费 $0.034。OpenAI 公布的对比数据里有个值得注意的点:在印地语、泰米尔语、泰卢固语三种印度语种上,Word Error Rate 比所有其他被测模型低 12.5%。这个细节透露了 OpenAI 的语言覆盖战术——不是均匀提升所有语言,而是先把英语之外、人口规模大、第三方模型覆盖差的「中等资源语言」做透。13 个输出语言是核心限制,对中文、英语、西班牙语用户够用,对北欧、东欧、东南亚小语种创作者不够。
GPT-Realtime-Whisper 是流式转录模型,定价 $0.017/分钟,是三款里最便宜的一档。和初代 Whisper 的根本差别是:初代要等说话人讲完一段才能跑批处理,新版边说边出字幕。这个差异看起来小,但在直播字幕、会议纪要、AI 助理的「实时听写」场景里是有无之分。OpenAI 列举的目标场景包括客服、医疗、招聘、销售、教学、线上活动——基本是把过去靠 Otter、Fireflies、飞书妙记这类「事后转录」工具吃下的市场,往「实时转录 + 在场 AI 助理」的形态推。 定价:把语音从「玩具」推向「企业生产线」,但中小开发者要算账
三款模型的定价值得拆开看。GPT-Realtime-2 的音频输入 $32/M tokens、输出 $64/M tokens,对比 GPT-5 文字模型的输入 $1.25/M、输出 $10/M,音频侧贵了 25 倍到 50 倍。OpenAI 给出了缓存输入价 $0.40/M(80 倍折扣),明显在引导开发者复用上下文。Translate 和 Whisper 用按分钟计费,逻辑更简单——一通 10 分钟客服电话,Translate 成本约 $0.34,Whisper 成本约 $0.17,对企业可控,对个人开发者做小工具仍然偏贵。
横向对比:ElevenLabs 的对话式语音代理目前定价在 $0.08-$0.15/分钟区间,看起来比 OpenAI 便宜,但 ElevenLabs 自己不带推理,需要再叠一个 LLM 调用,总成本反而和 OpenAI 持平甚至更贵。Google Gemini Live 是免费给 Gemini 订阅用户用的(消费侧打法),但 API 侧定价至今不透明。OpenAI 这次的策略很清楚:把价格定在「企业语音代理替代人工坐席」的临界线上,不去碰 toC 免费市场。 Priceline 与 Zillow 的早期实验:语音代理在垂直场景的真实落点
OpenAI 这次给了两个早期客户案例。Priceline 在做的事是让旅客用语音管理整个出行:搜机票、订酒店、航班延误时改酒店、查 TSA 排队时间、落地后翻译当地对话。这个场景对模型的要求很苛刻——既要长上下文记住整趟行程,又要并行调多个 API(航司、酒店、TSA),还要在用户改主意时不丢上下文。GPT-Realtime-2 的 128K 窗口和 parallel tool calls 几乎是为这种场景定制的。
Zillow 的故事更说明问题:他们做的是住房咨询语音代理,必须遵守 Fair Housing 反歧视合规——不能因租客的种族、家庭状况说出引导性回答。Zillow 给的评价是「agentic competence 与 guardrail strength 的结合,是让语音真正能在生产环境跑起来的关键」。这一句翻译过来:以前的语音模型要么聪明但会乱说话,要么合规但不会办事,Realtime-2 是第一个两边都过得去的。
局限与风险:13 输出语言、价格倒挂、实时性与推理深度的两难
值得直说的几个限制。第一,13 输出语言对小语种创作者不够,做日韩泰越内容的开发者还需要等 OpenAI 后续扩容或叠 Translate 链路。第二,音频价格相对文字模型几十倍倒挂,意味着「全语音原生应用」短期内对个人开发者经济性差,更像是企业级客服、会议、电话场景的方案。第三,xhigh 推理模式延迟会显著上升,OpenAI 没公布具体毫秒数,开发者需要自己在 Playground 实测——推理深度和实时性是天然矛盾,preambles 这类填充句的本质就是用「拖时间」掩盖延迟。第四,安全侧 OpenAI 提到主动分类器会切断违规会话、Agents SDK 可叠加自定义 guardrail,但语音模态的越狱和声纹滥用一直比文字侧难防,这套机制的实战效果还要看公开后的红队报告。