4月15日消息，小红书AI平台团队（redai-infra）开源了Relax（Reinforcement Engine Leveraging Agentic X-modality），一款专为全模态输入和Agentic多轮交互场景设计的大模型强化学习后训练引擎。论文已在arXiv发表（编号2604.11554），作者来自小红书AI Platform、香港大学和中国科学技术大学，GitHub仓库同步上线。
当前大模型后训练正从纯文本RLHF向全模态（文本+图像+音频+视频）和Agentic工作流（多轮交互、工具调用、闭环决策）方向演进，但主流开源RL框架多基于文本优先架构，处理多模态数据和复杂Agent交互时需要大量适配工作。Relax的目标是从底层架构上解决这些问题，而非在文本管线上做补丁式修改。
三层架构解决三个核心问题
Relax的设计围绕三个相互关联的挑战展开：异构数据流、大规模运维鲁棒性、以及策略新鲜度与吞吐量之间的权衡。
第一层是全模态原生架构。与多数框架在文本管线上后挂多模态支持不同，Relax将多模态处理嵌入全栈——从数据预处理、模态感知并行策略（包括ViT复制和编码器感知流水线放置）到推理生成，整条链路原生支持图像、音频和视频输入。数据管道可动态注入模态特定的转换逻辑，无需为每种新模态重写管线。
第二层是服务化的角色隔离。每个RL角色（Actor、Rollout、Critic等）作为独立的Ray Serve服务运行，支持弹性扩缩容和故障自动恢复。某个角色节点宕机不会拖垮整个训练任务，HealthManager负责自动检测和重启，配合集中式Metrics和实时通知，面向生产环境设计。
第三层是完全异步的训练-推理解耦。通过TransferQueue实现微批次流式调度，训练和推理各自独立运行。用户可配置策略新鲜度（staleness）参数，在on-policy、near-on-policy和off-policy之间平滑切换，不同场景对应不同的吞吐-质量平衡点。
性能数据：对比veRL提速1.2倍
根据论文披露的实测结果，Relax在全异步Off-Policy模式下，相比colocate（训练推理共置）模式，吞吐提升最高达2倍——以Qwen3-Omni-30B为例，单步耗时从267.4秒降至133.6秒。在Qwen3-4B上与veRL（字节跳动旗下开源RL框架）对比，端到端提速约1.2倍。
在多模态稳定性方面，Qwen3-Omni-30B在音频+图像、视频等多模态任务上持续训练2000步以上无明显退化。MoE模型的Rollout Routing Replay（R3）机制额外开销仅1.9%，论文称其他框架同类操作的开销约32%。训练器空闲率低至0.1%。
算法层面内置GRPO、GSPO、SAPO和On-Policy Distillation，奖励模块支持规则和GenRM（LLM-as-Judge）两种模式，可自定义扩展。Agentic场景下原生支持多轮交互、损失掩码和灵活终止条件。
竞品对照：填补全模态RL训练的空白
目前大模型RL后训练领域的主要开源框架包括字节跳动的veRL（HybridFlow架构，Ray+vLLM）、OpenRLHF（基于Ray的PPO/GRPO实现）和蚂蚁的AReaL。这些框架在纯文本RLHF场景下已较为成熟，但在全模态和Agentic支持上各有不足。
veRL的优势在于训练推理共置的colocate模式节省GPU显存，适合资源有限的场景，但其多模态支持仍在迭代中。OpenRLHF近期增加了异步Agentic RL支持，但底层仍以文本为中心。Relax的差异化在于：多模态不是后加的功能模块，而是架构层面的原生能力；服务化设计让生产部署更鲁棒；异步管线在大模型+多模态场景下的吞吐优势更明显。
不过Relax也有局限。作为新项目，社区生态和文档成熟度远不及veRL和OpenRLHF。论文中的性能对比主要基于Qwen3系列模型，对LLaMA、Gemma等其他架构的兼容性和性能表现需要更多社区验证。此外，全异步Off-Policy模式虽然吞吐最高，但策略偏离带来的训练稳定性风险需要用户根据具体任务调参权衡。
小红书AI Infra的开源脉络
Relax并非小红书在AI基础设施领域的首次开源。此前，团队已陆续开源了FireRedTTS语音合成系统和FireRedASR语音识别系列。小红书AI平台团队成立于2023年，基于Megatron-Core自研了支撑4000卡以上规模预训练和RLHF的统一训练框架。Relax可以视为这套内部框架在RL后训练方向上的开源版本，从纯文本RLHF扩展到了全模态和Agent场景。
项目地址：https://github.com/redai-infra/Relax，推荐通过Docker镜像快速启动，已提供Qwen3系列（文本/视觉/全模态）的示例脚本。
AI 速览
