8月21日消息，arXiv 论文《VA-Judger: Reward Modeling from Human Preference Feedback for Joint Video-Audio Generation》发布。VA-Judger 是面向联合音视频生成模型的奖励模型，作者称其为首个这一类型的模型：它用人类偏好反馈训练，为视频加音频的联合生成提供奖励信号，并已用于后训练 Lightricks 的开源模型 LTX-2。论文摘要显示，用 VA-Judger 的奖励后训练音视频生成模型，带来了显著的生成质量提升。
VA-Judger 解决什么问题
用强化学习后训练联合音视频生成模型，需要先有一个奖励信号。现有的做法是把各质量维度的指标组合起来，包括音频质量、视觉保真与音视频同步。但论文指出，这些指标是分别评估感知维度的，无法捕捉文本提示、视频、音频三者之间的整体语义与时序连贯性——而这正是人类偏好形成的地方。
问题还在于，直接对着这些指标优化会鼓励 reward hacking：模型可以生成在这些指标上得分很高、但观众看起来不连贯或与提示不符的内容。VA-Judger 的思路，是用人类偏好数据直接建模"什么内容是好的"，而不是继续堆指标。
从指标到人类偏好：联合奖励的难点
音视频联合生成与单模态生成的区别在于一致性：画面、声音、文本提示三者需要语义对齐，还要在时间上同步。一个能评判单张图像质量的模型，判断不了"音频是否与画面内容匹配、是否与提示一致"。联合奖励模型需要同时理解视频内容与音频内容，并评估两者之间的关系，这是它比图像或视频奖励模型多出的部分。
作者在发布帖中称，VA-Judger 是首个面向联合音视频生成的奖励模型。论文把它定义为 chain-of-thought omni-reward model，即具备思维链推理的全能奖励模型。
VAPref-10K 数据集与 VA-Judger-Bench
训练奖励模型需要人类偏好数据。论文构建了 VAPref-10K 数据集：9K 个提示词，10.3K 条细粒度的成对比较，数据来自开源生成模型的输出。为了让数据覆盖不同难度，数据集同时包含质量差距明显的样本与难以区分的近质量样本。
评测层面，论文提出 VA-Judger-Bench 基准，包含域内与域外两种模型对比，用于检验奖励模型的判断是否真的与人类偏好一致。实验显示，VA-Judger 在域内与域外评估中都优于基于指标的基线。
VA-Judger 的三步训练
论文把训练分成三步。第一步，从质量差距明显的样本对中学习，建立结构化输出与粗略的偏好判别能力。第二步，对难以区分的近质量样本，用经过人类标注验证的拒绝采样，蒸馏出可靠的偏好解释。第三步，做维度级的强化学习，把人类反馈分解成各质量维度，提供比单一二元偏好标签更密集的奖励信号。
这套流程的实质，是让模型先学会分好坏，再学会解释为什么，最后细化到维度层面给出奖励。
效果与 LTX-2 后训练
论文报告，VA-Judger 在预测人类偏好上优于指标基线，域内与域外评估均成立。实际应用上，作者用 VA-Judger 后训练了 LTX-2。LTX-2 是 Lightricks 开源的音视频基础模型，采用 DiT 架构，在单个模型中生成同步的视频与音频，最长可生成约 20 秒内容，并能在消费级硬件上运行。作者表示，由 VA-Judger 驱动的后训练让 LTX-2 生成的内容更符合人类偏好。
需要说明的是，以上结果均来自论文与作者的公开表述，属于研究团队自述口径。
怎么用：论文、代码与复现路径
VA-Judger 的论文在 arXiv 上可读：编号 2608.18607，提供了方法细节、数据集构成与评测结果。代码已开源在 GitHub：ShareLab-SII/VA-Judger 仓库，包含奖励模型的实现与数据相关资源。
对想复现或使用的团队，建议按以下路径。先读论文的动机与方法部分，理解三步训练的具体设置。再在 GitHub 仓库中查看实现与使用说明，确认依赖与运行方式。最后结合开源模型做后训练实验：LTX-2 权重在 Hugging Face 上开放，是验证 VA-Judger 奖励信号效果的直接对象。使用前注意，论文评测基于其构建的 VAPref-10K 与 VA-Judger-Bench，迁移到自有数据时建议重新评估。
边界与观察
VA-Judger 的价值在于把奖励信号从指标组合推进到人类偏好建模：它直接处理音视频生成里"指标高分但内容不连贯"的 reward hacking 问题，并用细粒度的人类偏好数据训练。对音视频生成研究者来说，这是一个可复现的后训练组件；对使用 LTX-2 等开源模型的团队，它提供了一条把模型往人类偏好方向对齐的现成路径。
目前论文结果均为作者自述，模型的实际水平需要在独立数据上验证。"首个"的说法也来自作者口径。奖励模型在音视频联合生成中的应用仍处于早期，VA-Judger 提供了一个有论文、有数据、有代码的起点。
AI 速览
