9月23日消息,阶跃星辰开源了标注与模型检查工具 onPanda。相关论文《onPanda: Efficient Annotation of On-Policy Alignment Data for LLMs and Agents via Token-Level Correction》9 月 21 日上传 arXiv,9 月 22 日提交至 Hugging Face Papers,论文页归属组织与第一作者 Lei Yang 的页面标注机构均为 StepFun。论文给出的核心交互是 token 级修正:标注者不必改写整段回复,只需找到第一个不合适的 token 并改掉它,系统从修正后的前缀继续生成。
标注动作只落在出错的 token 上
按论文描述,标注者读到模型回复时定位第一个不合适的 token,onPanda 在该位置显示模型的 top-k 候选 token 及概率。标注者可以从候选里点选替代项,也可以双击自由编辑。系统截断该位置之后的所有内容,让模型从修正后的前缀接着生成,如此循环「定位—修正—续写」,直到得到满意的回复,中间版本由工具保留。
这套交互带来两个后果。多数情况下,标注者只改动少量位置,最终回复里绝大多数 token 由模型自身生成,论文称这样的数据大体保留模型的采样分布,适合构造 on-policy 的 SFT(监督微调)与偏好数据。同时,每次修正都记录了精确位置,正负样本成对出现,论文把这种记录称为 token 级监督信号。
效率与保真度:论文的对照实验
论文设计了一组对照实验,把 onPanda 与两种主流标注流程比较:一种是人工后期编辑,用开源标注平台 POTATO 复现,答案框预填模型首次 rollout,标注者改到满足 SFT 质量线;另一种是偏好排序,用开源数据标注平台 Argilla 复现,预生成四条 rollout 由标注者排序。首次 rollout 由同一个模型 Qwen3.5-35B-A3B 以官方推荐的采样参数生成,三种方法共用同一条首次 rollout,以降低采样随机性。
论文报告的结果是,onPanda 的中位标注时间为每题 330 秒,比 POTATO 的 681 秒少 51.5%,与 Argilla 的 336 秒相当。摘要把这一结果表述为「一项小规模对照研究显示,相对人工后期编辑,中位标注时间降低 52%」。在分布保真度上,论文以同一模型下多次 rollout 的平均困惑度作为基线(1.171),onPanda 的 PPL 为 1.181,相对变化为 +0.86%,与 Argilla 的 -0.83% 一起落在基线 1% 以内,也在重采样噪声范围内;POTATO 为 1.596,相对变化 +36.31%。同一实验里,onPanda 在耗时与分布保真度两项上与偏好排序的差距都不明显。
论文也说明这组比较的边界:两个基线平台在界面与标注范式上都有差异,因此比较的是完整工作流,难以区分收益来自界面、范式还是两者叠加。
一起开源的还有数据集与基准
论文随附发布了多模态数据集 Panda-CVL 与 token 级修正基准,测试集与训练集托管在 Hugging Face;项目页另列一个小数据集 Panda-MultiRef-21,用于研究 token 级修正的分布。代码仓库以 MIT 许可开源,提供 npx @on-panda/serve 的自托管方式,也提供在线试用入口。
论文与仓库还列了模型检查方面的功能:查看每个 token 的概率与 top-k 候选,在 token 级引导解码,以及在浏览器内试 SVG 生成、网页开发与智能体任务。
智能体轨迹与多模态标注
标注对象不限于文本。论文与仓库说明,onPanda 可连接外部工具与 harness,在真实环境中做交互式轨迹标注,支持图像、音频、视频输入;仓库另列可接入 Claude Code、Codex、OpenCode 等 harness,并内置一个在浏览器中运行、无需安装的 browser-agent。智能体场景下,标注者可以修正推理过程与 tool_calls 参数,修正后的调用在已连接环境中执行,轨迹从修正后的上下文继续。