多模态与生成 Multimodal & Generation

详细算法

1. 问题设定

时刻 $t$ 的输入：多视角图像与任务指令（前缀具身、臂型、末端类型、控制频率），当前本体状态 $q_t$。输出：长度 $K=8$ 的动作块 $\mathbf A_t=[\mathbf a_{t,0},\ldots,\mathbf a_{t,K-1}]$，整块执行完再重规划。可选：自生成子任务描述（"Current step: …"）或 ECoT 响应（场景、进度、下一步运动）作为额外上下文。

2. 关键公式

末端位姿动作（相对块起始位姿）（式 2）：

$$\mathbf a^{\rm eef}_{t,k}=\big[\mathbf p^*_{t+k}-\mathbf p_t,\ \mathrm{Log}(R^*_{t+k}R_t^{\mathsf T})\big]\in\mathbb R^6$$

动作专家的条件（式 3）：$X_t=[H_t^{\rm last};\,C_t]$。

直接未来预测损失（式 4–5；$m\in\{r,d,f\}$ 为 RGB / 深度 / 光流）：

$$\tilde y^m=\frac{y^m-\mu^m}{s^m},\qquad \mathcal L_{\rm direct}=\frac13\sum_{m}\mathrm{MSE}\big(g^m_\eta(C_t),\tilde y^m\big)$$

世界模型辅助损失（式 6–7；未来潜与噪声线性混合，$\sigma\sim U(0,1)$）：

$$z^r_{\sigma,\rm future}=(1-\sigma)z^r_{\rm future}+\sigma\epsilon,\qquad \mathcal L_{\rm WM}=\sum_m\mathrm{MSE}\big(\hat v^m_{\rm future},\ \epsilon-z^m_{\rm future}\big)$$

物理预训练目标（式 8；$\lambda(k)=0.5\min(k/2000,1)$）：

$$\mathcal L_{\rm pre}=\mathcal L_{\rm WM}+\lambda(k)\,\mathcal L_{\rm direct}$$

条件流匹配的动作损失（式 9–10）：

$$x_\tau=(1-\tau)\xi+\tau\mathbf A_t,\quad v^*=\mathbf A_t-\xi,\qquad \mathcal L_{\rm act}=\frac{\sum_i\|M_i\odot(\hat v_i-v_i^*)\|_F^2}{\sum_i\|M_i\|_1+\delta}$$

联合策略损失（式 11）：

$$\mathcal L_{\rm policy}=\mathcal L_{\rm act}+0.1\,\mathcal L_{\rm VL}+0.1\,\mathcal L_{\rm direct}$$

3. 逐步伪代码

# 阶段 1: 物理动力学预训练 (VLM 与 LingBot 冻结)
for 每个样本 (当前观测, 指令, 5 帧视频 [当前 + 之后 30 个动作步], 深度/光流伪标签):
    H8 = VLM.layer8(观测, 指令)                       # 冻结
    C  = PhysicalModule(H8)                           # 50 个 query -> 50 个 physical tokens
    编码 RGB / 深度 / 光流 视频为 Wan-VAE 潜特征 z^m
    # 直接预测
    L_direct = mean_m MSE( g^m(C), 标准化(池化(z^m_future)) )
    # 世界模型辅助
    采样 σ~U(0,1), ε~N(0,I);  z_future^r' = (1-σ) z_future^r + σ ε
    v̂^m = LingBot(干净 z_current^r, 带噪 z_future^r', 条件 C, σ)   # RGB 头冻结, 深度/光流头可训练
    L_WM = Σ_m MSE(v̂^m, ε - z^m_future)
    loss = L_WM + λ(k) L_direct;   更新 PhysicalModule, 深度/光流头, 直接预测头

# 阶段 2: 联合策略训练 (去掉视频模型)
for 每个 VLA / VL 样本:
    H_last, H8 = VLM(...);   C = PhysicalModule(stopgrad(H8))
    A: 动作专家 v_ψ(x_τ, τ, [H_last; C], q_t)  ->  L_act (带掩码)
    L_VL: 仅对响应 token 的交叉熵 (只更新 VLM)
    L_direct (继续)
    loss = L_act + 0.1 L_VL + 0.1 L_direct

# 推理
可选: VLM 先生成子任务描述 (或 ECoT) 附加到指令
H_last, C = VLM + PhysicalModule             # 不运行视频模型
x ~ N(0, I);  4 步 Euler 积分速度场 v_ψ  ->  动作块 A (K=8)

4. 训练 / 推理流程

适配与评测：LIBERO（四个 suite 各 10 个任务，微调 40,000 步，批大小 128，共 2,000 个评测 episode）、LIBERO-Plus（扰动鲁棒性）、RoboTwin 2.0（Aloha-AgileX，clean50 + randomized500，每任务每设置 100 个 episode）、SimplerEnv（WidowX/Bridge 视觉匹配，微调 50,000 步）。基线数字取自各论文与官方仓库（含 InternVLA-A1.5、Qwen-RobotManip 的汇总），协议并不完全一致。训练硬件与具体超参见论文附录 A。

详细算法

1. 问题设定

rectified-flow 参数化：$t=1$ 为噪声，$t=0$ 为干净样本；前向状态 $x_t=\alpha_tx_0+\sigma_t\epsilon$，样本速度目标 $u_t=x_0-\epsilon$。每次迭代对每个 prompt $c$ 从冻结的 rollout 策略 $p_{\rm old}$ 采 $K$ 个端点 $x_0^{(i)}$，得到黑盒奖励 $R_i=R(x_0^{(i)},c)$，不要求奖励可微。目标：用这些端点级反馈高效而稳定地更新速度网络 $v_\theta(x_t,t,c)$。

2. 关键公式

NFT 的目标（背景），$r_i=\tfrac12[1+\mathrm{clip}((R_i-\bar R_c)/Z_c,-1,1)]$，$v_{\theta,\pm}=v_{\rm old}\pm\beta(v_\theta-v_{\rm old})$：

$$\mathcal L_{\rm NFT}=\mathbb E\big[r\|v_{\theta,+}-u_t\|^2+(1-r)\|v_{\theta,-}-u_t\|^2\big]=\beta^2\mathbb E\|v_\theta-v_{\rm tgt}\|^2+\text{const}$$

命题 1（NFT 力分解），$e=v_{\rm fwd}^{\rm old}-v_{\rm rvs}^{\rm old}$：

$$\mathcal F_{\rm NFT}(s_t)=2g+(2q-1)e,\qquad \mathcal F_+=g+qe,\quad \mathcal F_-=g-(1-q)e$$

指数倾斜与协方差引理：$p_\tau(x_0\mid c)\propto p_{\rm old}(x_0\mid c)\,e^{\tau R(x_0,c)}$，则

$$\left.\frac{\partial}{\partial\tau}\mathbb E_{p_\tau}[x_0\mid c]\right|_{\tau=0}=\operatorname{Cov}_{p_{\rm old}}(R,x_0\mid c)$$

聚合优先的引导方向（式 5）：

$$\overline{\rm Cov}=\frac1K\sum_{i=1}^K(R_i-\bar R_c)(x_0^{(i)}-\bar x_{0,c}),\qquad G(c)=\frac{\overline{\rm Cov}}{\mathrm{RMS}(\overline{\rm Cov})}$$

冻结目标与逐状态损失（$w$ 含时间步权重与掩码，$D$ 为输出维数）：

$$v^{\rm ART}_{\rm tgt}(s_t)=v^{(0)}_\theta(s_t)+G(c),\qquad \mathcal L_\theta(s_t)=w(s_t)\cdot\tfrac1D\|v_\theta(s_t)-v^{\rm ART}_{\rm tgt}(s_t)\|_2^2$$

两次更新的输出梯度（$d=v_\theta-v^{(0)}_\theta$ 为漂移）：

$$-\nabla_{v_\theta}\mathcal L\big|_{v^{(0)}_\theta}=\tfrac{2w}{D}G(c),\qquad -\nabla_{v_\theta}\mathcal L\big|_{v^{(1)}_\theta}=\tfrac{2w}{D}\big(G(c)-d(s_t)\big)$$

Trust-region 掩码（KL 代理 $m$；$\delta=10^{-5}$）：

$$m(s_t)=\frac{\|\mu(s_t,v_\theta)-\mu(s_t,v^{(0)}_\theta)\|_2^2}{2D\,\sigma_{\rm ref}^2(t)},\qquad w(s_t)=t\Big[1-\mathbf 1\{m\ge\delta\}\,\mathbf 1\{\langle d,\,G-d\rangle>0\}\Big]$$

3. 逐步伪代码

# 据 §4 文字整理 (论文 Algorithm 1 的正文在文本抽取中缺失, 故非逐行抄录)
输入: 速度网络 v_θ, 黑盒奖励 R, prompt 集, 每组样本数 K
for 每个训练迭代:
    # Rollout (ODE 采样, 不需要 SDE 似然)
    for 每个 prompt c:
        用当前网络 v_θ(0) 采 K 个端点 x0^(i); 缓存沿途每个状态 s_t 的预测 v_θ(0)(s_t)
        R_i = R(x0^(i), c)                      # 标量, 或成对偏好标签 (Pairwise 变体)
        # 聚合优先: 每个 prompt 一个共享方向
        Cov = (1/K) Σ_i (R_i - R̄)(x0^(i) - x̄0)
        G(c) = Cov / RMS(Cov)
        对该 prompt rollout 经过的每个状态 s_t:  v_tgt = v_θ(0)(s_t) + G(c)
    # 把本批数据拆成两个不相交的 mini-batch B1, B2
    for B in (B1, B2):                          # 两次更新
        对 B 中每个状态:
            d = v_θ(s_t) - v_θ(0)(s_t)
            m = KL 代理 (式 7);  w = t * (1 - 1[m>=δ] * 1[<d, G-d> > 0])
            loss += w * MSE(v_θ(s_t), v_tgt)
        θ <- AdamW 更新
    # 第 2 次更新自带恢复力 -d; 无需 EMA 调度

4. 训练 / 推理流程

T2I：SD3.5-M（LoRA r=32, α=64, 512×512, lr $3\times10^{-4}$, 10 步 rollout），奖励 GenEval / OCR / PickScore（及联合 CLIPScore、HPSv2.1）；FLUX.1-dev (12B)：6 步 rollout、guidance 嵌入 3.5。T2V：全参数微调 CFG 蒸馏的 HunyuanVideo-13B，lr $10^{-5}$，每批 32 个 prompt × 8 个视频，53 帧、480×480、8 FPS、16 步采样；VideoReward（VQ 视觉质量 / MQ 运动质量 / TA 文本对齐）按 7:2:1 加权。另有 I2V 与 Pairwise 实验。

基线：Flow-GRPO、Flow-GRPO-Fast (CPS)、DanceGRPO、Flow-DPPO、DiffusionNFT（有 / 无 EMA）。