9月16日消息,InstructGPT 论文共同作者 Diogo Almeida 创办的 AI 实验室 TypeSafe AI 结束两年隐身,发布首个 System One 模型 Jev。公司同步宣布获得 4000 万美元种子轮,由 DCVC 领投。Jev 与常见大模型的根本差别在于它不做文本生成:输入一段状态和一组预先定义的问题,返回带概率和置信度的类型化答案。官方称其在同类决策任务上比前沿 LLM 快 20 到 200 倍、便宜 40 到 400 倍。
Jev 是什么:一次返回类型化判断,而不是一段文本
按官方文档的定义,Jev 的输入是一个 state(状态)和一组类型化问题,输出是类型化数值和概率分布,代码可以直接拿来分支、排序、路由,不需要再解析一段自然语言。三种问题原语可以在同一次调用里混合使用:Choice 从固定选项里选一个,返回选项、各选项概率和置信度;Score 按给定量尺打分,返回分数和各档概率;Noul 做真值判断,返回 0 到 1 之间的数值。所有问题针对同一份 state 并行、相互独立地评估,官方称增加问题数量几乎不影响响应时间,也不会出现长上下文里的注意力衰减。
代价同样明确:Jev 不能写文章、不能写代码、不能解释推理过程、不能聊天。选项基数上限 255,超出要走两阶段处理,速度会打折扣。官方语境里「不会幻觉」的准确含义是输出被约束在预定义类型里,不会编出一段看起来像样的错误文本;判断本身仍然可能错,TypeSafe 因此把置信度和人工升级机制作为产品设计的一部分。
RLCD:从「让人类喜欢」到「让概率可信」
Diogo Almeida 的名字在 InstructGPT 论文(arXiv:2203.02155)作者名单里排第四。那篇 2022 年 3 月的论文确立了 RLHF 训练流程,是 ChatGPT 的直接前身;他的 X 账号简介写着「在 OpenAI 共同创造了 RLHF/ChatGPT」。现在他的论点是:聊天模型的能力已经超过人类,但没有带来大规模自动化,因为把「生成一整段文本」用在只需要一个判断的软件环节,速度和成本都不划算。
TypeSafe 为此用的训练方法叫 RLCD(Reinforcement Learning for Calibrated Decisions),优化目标不再是人类偏好,而是「认知上诚实的概率」——按官方发布材料的说法,模型说八成把握时,长期看大约八成是对的。RLCD 目前没有对应的论文发表,训练数据来源和基座模型在官方博客的 FAQ 里被列成问题,但没有给出答案。
速度与价格的官方账:数量级差距从哪来
官方给出的数字分两个口径。博客正文说,在同等智能水平的 System One 任务上,Jev 比前沿 LLM 快 40 到 200 倍,端到端响应 70 到 500 毫秒,对照的前沿 LLM 是 3 到 329 秒;Almeida 的推文口径是快 20 到 200 倍、便宜 40 到 400 倍。定价上,输入 token 每百万 0.042 美元(每十亿 42 美元),官方给的 LLM 输入价格对照是每百万 0.2 到 10 美元;输出 token 免费,官方的说法是新架构下输出成本低到无需计量。主页工作流评测里更极端的 193.6 倍快、444.6 倍便宜,博客自己注明属于偏上限的数字。
差距的来源是架构层面的替换:Jev 不做自回归的逐 token 生成,改用硬件感知的并行采样器,单次查询直接产生全部输出。官方用两个演示展示这套特性——一个靠文本状态玩 Doom 的机器人,每秒约 10 次查询、每小时约 7 美元;一个维基百科竞速,在数百到数千个链接里选下一步,对比对象是非推理模式的 LLM。这些演示都是官方自设场景,第三方还没有可以核对的实测。
不是第一个做结构化输出的,差别在「原生」
让 LLM 输出结构化判断不是新事。行业里已有的三条路线:一条在生成模型上约束输出格式,再对模型口头报出的概率做校准修正;一条直接读 token 的 logprob 当置信度;或者微调 LLM,让它直接当分类器。学术侧的结论也一致——已有研究指出,LLM 在需要给出真实不确定性的输出上校准很差。这三条路线的共同点是,决策能力寄居在一个为生成而训练的模型里,靠后处理和微调打补丁。
Jev 的差异主张是把这一步做进模型本身:非自回归架构加上以校准为目标的 RLCD 训练,类型错误在官方表述里「在数学上不可能」发生。按这个主张,软件调用智能的方式会多出一个品类——生成式模型给人产出内容,System One 模型给代码产出判断,两者各管一段。目前公开下注的只有 TypeSafe 一家;这条路线是否成立,要等第三方实测来回答。
4000 万美元与 738 分:资本与质疑同时到位
TypeSafe AI 于 2024 年在旧金山成立,三位联合创始人是 CEO Diogo Almeida、CTO Erik Gafni 和 COO Sasha Sheng,种子轮 4000 万美元由 DCVC 领投,Forbes 报道的估值口径约 2 亿美元。发布当天,官方博客登上 Hacker News 首页,截至9月16日上午得到 738 分和 249 条评论。关注之外,讨论里的质疑集中在三处:隐身两年的实验室缺少可核对的公开记录、性能数字绑定在自家定义的 System One 工作流上、架构和训练数据的关键细节没有披露。
Jev 现在处于 early access,官方称正在从候补名单里尽快放出开发者名额。训练数据从哪来、在公开基准上表现如何,博客 FAQ 列出的五个问题,发布当天还没有答案。