小红书开源高性能多模态强化学习框架Relax

### Relax定位RelaxReinforcementEngineLeveragingAgenticX-modality是小红书 AI 平台开源的高性能多模态强化学习后训练框架基于 Ray Serve 构建服务化架构。是一个大模型强化学习RL后训练框架——用于在模型基座训练完成后进一步提升模型能力如数学推理、视觉理解、Agent 交互等。一句话场景你有一个 Qwen3-4B 基座模型想让它数学题做得更好 → 用 Relax GRPO 算法训练 → 得到更强的数学模型。Relax服务架构┌─────────────────────────────────────────────────────────┐ │ Layer 1: Entrypoints — train.py 入口、信号处理、Ray 连接 │ ├─────────────────────────────────────────────────────────┤ │ Layer 2: Orchestration — Controller训练循环 Service │ ├─────────────────────────────────────────────────────────┤ │ Layer 3: Components — Actor/Rollout/Critic/GenRM 等 │ ├─────────────────────────────────────────────────────────┤ │ Layer 4: Engine — SGLang Rollout Reward Hub │ ├─────────────────────────────────────────────────────────┤ │ Layer 5: Backends — Megatron-LM (训练) SGLang (推理) │ ├─────────────────────────────────────────────────────────┤ │ Layer 6: Distributed — DCS Ray Actor Groups │ └─────────────────────────────────────────────────────────┘Relax的亮点特性说明全异步训练通过 TransferQueue 实现 Rollout/Actor/Ref 完全并行流式数据交换弹性扩缩容HTTP REST API 动态增减推理引擎支持同集群/跨集群模式Agentic RL多轮交互 loss masking VLM 上下文累积多模态支持文本、视觉、音频统一框架Qwen3-Omni 等权重同步DCS 通过 NCCL 广播异步同步到推理集群Relax支持的 RL 算法算法类型说明GRPO策略优化Group Relative Policy OptimizationGSPO策略优化Group Sample Policy OptimizationSAPO策略优化Sample-Aware Policy OptimizationOn-Policy Distillation知识迁移基于 KL 惩罚的师生蒸馏Relax结构路径职责relax/core/controller.py训练循环编排、HealthManager、全局重启relax/components/Actor/Rollout/Critic/Advantages/GenRM 服务实现relax/backends/megatron/Megatron-LM 训练后端TP/PP/CP/EP 并行relax/backends/sglang/SGLang 推理引擎管理relax/engine/rewards/可插拔奖励函数DeepScaler、DAPO、GenRM 等relax/distributed/Ray 集群管理、DCS 权重同步服务⚙️ 执行模式Colocate同步Actor 与 Rollout 共享 GPU严格 on-policyFully Async全异步各角色运行在独立 GPU 集群通过 TransferQueue 流式交换数据Relax解决了什么问题传统 RL 训练的致命缺陷GPU 空闲传统流程是这样的Rollout (推理生成数据) → 等待 → Training (训练) → 等待 → Rollout → ...在 Rollout 阶段Training 的 GPU 完全空闲Training 阶段Rollout 的 GPU 空闲。60-70% 的时间 GPU 都在等待。Relax 的解法全异步架构Rollout ──并行──▶ Training │ │ ▼ ▼ TransferQueue ← DCS 权重同步Rollout 和 Training 同时运行在不同 GPU 集群上通过 TransferQueue 流式交换数据通过 DCS 异步同步权重。GPU 利用率从 30-50% 提升到 70-90%。和 veRL / OpenRLHF 比有什么优势维度RelaxveRL / OpenRLHF架构服务化每个角色是独立 Ray Serve Deployment单体式架构训练模式支持 Fully Async完全并行串行/共享 GPUGPU 利用率70-90%异步并行30-50%串行等待多模态原生支持文本图像视频音频有限支持权重同步DCSNCCL 广播与训练重叠共享内存或手动同步弹性扩缩HTTP API 动态增减推理引擎固定配置核心差异Relax 是第一个将训练-推理完全解耦做到产品级的开源框架。veRL 也有异步思路但没有 TransferQueue DCS 这套完整的数据流和权重同步机制。