一句话说清楚：字节跳动和香港中文大学开源了 OmniShow，一个视频生成框架。你给一张参考图片，再加上可选的声音、动作指令，它能生成一段高质量视频，特别擅长人机交互场景，效果超过了现有其他模型。
4月13日，香港中文大学与字节跳动联合发布论文OmniShow（arXiv:2604.11804），提出首个专门针对人物-物体交互视频生成（Human-Object Interaction Video Generation, HOIVG）的端到端框架。该框架基于120亿参数的Waver 1.0模型构建，能同时接受文本、参考图像、音频和姿态四种条件的任意组合作为输入，在自建的HOIVG-Bench基准上多项设置下达到最优表现。
解决什么问题：四种条件，此前没有模型能同时处理
现有视频生成方法大多只能处理单一或两种条件输入。比如图生视频（R2V）模型只接受参考图像，音频驱动（A2V）模型只处理音频信号。当实际应用需要"一张产品图+一段解说音频+一组操作动作"同时输入时，用户不得不串联多个模型，效果逐级衰减。
OmniShow将文本、参考图像、音频、姿态四种条件统一纳入一个框架，支持以下组合模式：
R2V（参考图像→视频）：输入一张图片，生成该主体的动态视频。RA2V（参考图像+音频→视频）：图片配合音频，可做对口型、配乐演示。RP2V（参考图像+姿态→视频）：图片配合骨骼姿态序列，精确控制人物动作。RAP2V（参考图像+音频+姿态→视频）：三种条件全给，生成最完整的交互演示视频。
需要明确的是，这里的"交互"指的是人与物理物体之间的操作——抓取杯子、弹奏乐器、操控工具——而非人机界面交互。这类场景的难点在于手部与物体的接触区域容易出现穿模、物体形变异常等物理不合理现象。
技术架构：120亿参数底座+三项关键设计
OmniShow构建在Waver 1.0之上，这是一个基于MMDiT（多模态扩散Transformer）架构的120亿参数视频生成模型，使用Wan 2.1 VAE进行视频特征的潜空间压缩。在此底座之上，论文提出三项核心设计。
统一通道级条件注入（Unified Channel-wise Conditioning）。 参考图像和姿态视频先经VAE编码为潜空间token，然后通过通道拼接（channel concatenation）的方式注入生成过程。具体做法是：在噪声视频token的时间维度上填充额外的"伪帧token"（pseudo-frame tokens），参考图像token与伪帧token拼接，姿态视频token与噪声视频token拼接。这种设计的优势在于沿用了基础模型原有的条件注入结构，不破坏预训练的生成先验，实验证明比cross-attention或adapter方案在保真度和身份一致性上更优。
门控局部上下文注意力（Gated Local-Context Attention）。 音频是严格的时序信号，每一帧画面需要与对应时刻的音频精确对齐。全局注意力机制容易导致远距离帧之间的音频信号互相干扰。OmniShow引入局部上下文窗口，让每一帧只关注时间上相邻的音频特征。同时加入自适应门控机制（adaptive gating），对音频特征进行动态调制，在保证同步精度的同时维持训练稳定性。论文消融实验显示，去掉门控机制会导致视觉质量下降，验证了音频特征调制对训练稳定性的必要性。
解耦后联合训练（Decoupled-Then-Joint Training）。 高质量的人物-物体交互视频数据极为稀缺，不存在大规模的"图像+音频+姿态+目标视频"五元组配对数据集。现有资源分散在各个子任务的独立数据集中（如单独的A2V数据集、单独的pose-guided数据集）。OmniShow采取分阶段策略：先在各子任务数据集上分别训练对应的条件控制能力，再通过模型合并（model merging）将多个专项模型融合，最后在少量完整配对数据上联合微调。这一策略有效规避了数据稀缺导致的过拟合问题。
HOIVG-Bench：该任务首个专用评测基准
论文指出，此前学界缺乏专门评估HOIVG任务的综合基准。为此，团队构建了HOIVG-Bench，覆盖多种多模态条件组合设置下的系统性评估。数据集已上传至Hugging Face（donghao-zhou/HOIVG-Bench）。
在HOIVG-Bench上的实验结果显示，OmniShow在R2V、RA2V、RP2V、RAP2V等多种条件设置下均达到最优或具竞争力的表现。论文同时在EMTD等已有基准上进行了对比，进一步验证了框架的泛化能力。消融实验逐一验证了三项核心设计各自的贡献——去掉任何一项都会导致对应指标的明显下降。
适用场景
OmniShow的多条件统一控制能力使其在以下场景具有直接应用潜力：电商产品演示（产品图+解说音频→操作演示视频）、虚拟人动画（人物照片+语音+动作序列→说话/表演视频）、短视频内容创作（静态素材+配音→动态内容）、游戏角色动画（角色立绘+动作序列→过场动画）。
与同期工作的定位差异
OmniShow与OmniHuman系列（字节跳动另一条产品线）的定位不同。OmniHuman专注于"单张图像+音频→人物动画"的端到端生成，已落地即梦AI产品；OmniShow则聚焦于人物与物体之间的交互场景，支持更多条件组合，且侧重学术框架而非产品化。
与Seedance 2.0相比，Seedance面向通用音视频生成，强调多镜头叙事和2K分辨率输出；OmniShow则是专精于人物-物体交互这一细分任务的研究框架，两者解决的问题不同。
开源与资源状态
论文已公开（arXiv:2604.11804），项目主页为 correr-zhou.github.io/OmniShow，HOIVG-Bench数据集已上传Hugging Face。但截至发稿，一作GitHub主页尚未出现OmniShow代码仓库，模型权重的发布计划也未明确披露。同一团队此前的HiFi-Inpaint项目（CVPR 2026）同样标注"代码待内部审核后发布"，OmniShow的完整代码和预训练权重可能也需要等待字节跳动内部审核流程。
局限性
论文未详细公开推理硬件需求和生成时长上限等实用参数。120亿参数的底座模型意味着部署门槛不低，个人开发者在消费级GPU上直接使用可能存在困难。此外，HOIVG-Bench作为团队自建基准，其评估结论需要后续第三方复现来进一步验证。人物-物体交互场景的复杂度远高于简单的人物动画，在极端遮挡、多人多物体等复杂场景下的表现仍有待更多实测数据支撑。
相关资源：
- 项目主页：https://correr-zhou.github.io/OmniShow
- 评测数据集：https://huggingface.co/datasets/donghao-zhou/HOIVG-Bench
- 一作主页：https://correr-zhou.github.io
AI 速览
