推理与强化学习 Reasoning & RL

详细算法

1. 问题设定

交互轨迹 $\tau=(o_0,a_0,o_1,a_1,\ldots,o_T,a_T)$，其中 $o_0$ 为任务 prompt，$a_t$ 为第 $t$ 轮 assistant 输出（工具调用或最终回答），$o_{t+1}$ 为环境反馈。每个输出是 token 序列 $a_t=(a_{t,1},\ldots,a_{t,L_t})$。历史 $h_t=(o_0,a_0,\ldots,o_t)$，token 前缀 $h_{t,i}=(h_t,a_{t,<i})$。

策略自回归分解：$\pi_\theta(a_t\mid h_t)=\prod_{i=1}^{L_t}\pi_\theta(a_{t,i}\mid h_{t,i})$。只有终端奖励 $R(\tau)$，且仅最后一个 token 获得：$r_{t,i}=R(\tau)$ 当 $t=T,i=L_T$，其余为 0。目标 $\mathcal J(\theta)=\mathbb E_{\tau\sim p_\theta}[R(\tau)]$。环境 token 进入历史但不是策略动作。

2. 关键公式

价值边界与 TD 残差（critic $V_{t,i}=V(h_{t,i})$，rollout 时固定；$\gamma=1$）：

$$V_{t,L_t+1}:=V_{t+1,1},\quad V_{T+1,1}:=0,\qquad \delta_{t,i}=r_{t,i}+V_{t,i+1}-V_{t,i}$$

轮级 GAE（轮内 TD 残差求和后，内部 critic 预测相互抵消）：

$$\delta^{\text{turn}}_t=\sum_{i=1}^{L_t}\delta_{t,i}=\mathbf 1\{t=T\}R(\tau)+V_{t+1,1}-V_{t,1},\qquad A^{\text{turn}}_t=\delta^{\text{turn}}_t+\lambda A^{\text{turn}}_{t+1}$$

轮内局部 trace（只在本轮内截断）：

$$A^{\text{intra}}_{t,i}=\sum_{j=i}^{L_t}\lambda_{\text{intra}}^{\,j-i}\,\delta_{t,j}$$

MAE：带均值约束的最小二乘投影 $\min_{\mathbf w}\tfrac12\|\mathbf w-\beta\mathbf A^{\text{intra}}_t\|_2^2$，约束 $\tfrac1{L_t}\sum_i w_i=A^{\text{turn}}_t$，其唯一解：

$$A^{\text{MAE}}_{t,i}=A^{\text{turn}}_t+\beta\big(A^{\text{intra}}_{t,i}-\overline{A}^{\text{intra}}_t\big),\qquad \overline A^{\text{intra}}_t=\tfrac1{L_t}\textstyle\sum_i A^{\text{intra}}_{t,i}$$

整轮重要性比与 stop-gradient 构造：

$$\rho_{t,i}=\frac{\pi_\theta(a_{t,i}\mid h_{t,i})}{\pi(a_{t,i}\mid h_{t,i})},\quad \rho_t=\prod_{i}\rho_{t,i},\quad \tilde\rho_{t,i}=\rho_{t,i}\cdot\mathrm{sg}\Big[\prod_{j\ne i}\rho_{t,j}\Big]$$

前向值 $\tilde\rho_{t,i}=\rho_t$，梯度 $\nabla\tilde\rho_{t,i}=\rho_t\nabla\log\pi_\theta(a_{t,i}\mid h_{t,i})$。

MPO 目标（$\widehat A$ 为在 batch 内对所有有效 assistant token 归一化后的 MAE 优势，更新期间固定）：

$$\mathcal L_{\text{MPO}}(\theta)=\widehat{\mathbb E}_{t,i}\Big[\min\big(\tilde\rho_{t,i}\widehat A^{\text{MAE}}_{t,i},\ \mathrm{clip}(\tilde\rho_{t,i},1-\epsilon,1+\epsilon)\widehat A^{\text{MAE}}_{t,i}\big)\Big]$$

理论：turn 级改进下界（$A_{\max}$ 为优势上界，$\alpha_M$ 为各历史处整轮输出分布的最大 TV 距离）：

$$\mathcal J(\pi')-\mathcal J(\pi)\ \ge\ \mathcal S_M-2A_{\max}T(T+1)\alpha_M^2$$

3. 逐步伪代码

输入: 策略 π_θ, critic V_φ, 任务集 D, 超参 λ, λ_intra, β, ε
      (论文消融中最佳: λ=0.80, λ_intra=0.95, β=1.0; critic 的 λ_critic=1)

repeat 每个训练迭代:
    # 1. Rollout
    对每个任务采样轨迹 τ=(o0,a0,...,oT,aT); 记录每个 assistant token 的 log π_old 与终端奖励 R(τ)

    # 2. 取旧策略下的 critic 值 (估计优势期间固定)
    V[t,i] = V_φ(h_{t,i});   V[t,L_t+1] := V[t+1,1];   V[T+1,1] := 0

    # 3. token 级 TD 残差
    δ[t,i] = r[t,i] + V[t,i+1] - V[t,i]          # r 仅在轨迹最后一个 token 为 R(τ)

    # 4. 轮级 GAE (跨轮传播信用)
    A_turn[T+1] = 0
    for t = T downto 0:
        δ_turn[t] = Σ_i δ[t,i]
        A_turn[t] = δ_turn[t] + λ * A_turn[t+1]

    # 5. 轮内再分配 (均值保持)
    for 每一轮 t:
        A_intra[t, L_t+1] = 0
        for i = L_t downto 1:
            A_intra[t,i] = δ[t,i] + λ_intra * A_intra[t,i+1]
        Ā = mean_i A_intra[t,i]
        A_MAE[t,i] = A_turn[t] + β * (A_intra[t,i] - Ā)

    # 6. batch 内对所有有效 assistant token 归一化 -> Â, 更新期间固定

    # 7. 策略更新 (整轮重要性比 + stop-gradient)
    ρ[t,i]  = π_θ(a_{t,i}|h_{t,i}) / π_old(a_{t,i}|h_{t,i})
    ρ̃[t,i] = ρ[t,i] * stopgrad( Π_{j≠i} ρ[t,j] )      # 前向值 = 整轮比 ρ_t
    L = mean_{t,i} min( ρ̃·Â , clip(ρ̃, 1-ε, 1+ε)·Â )
    θ <- θ + lr * ∇_θ L

    # 8. critic 更新: 以 λ_critic=1 直接回归终端回报 R(τ)

4. 训练 / 推理流程

训练：在三类智能体环境中分别训练——Search、Claw-Eval、Automation Bench；步数分别为 300 / 300 / 200。基座为 Qwen3-4B-Thinking 与 Qwen3-30B-A3B-Instruct。对比 Base、GRPO、GSPO、PPO、VAPO、SAO，另设「MPO w/ token IS」（保留 MAE，但把整轮比换回 token 比）以隔离更新目标的作用。

评测协议：每次训练取最佳 checkpoint，离线评测 5 次取均值。Search 以 BrowseComp-Plus、GAIA、HLE 报告 pass@1 / pass@3（训练后模型用每题 32 条独立 rollout 估计）；Claw-Eval 报告 pass@3 与 pass^3；Automation Bench 报告 pass@1。

推理：推理时就是普通的智能体推理，MPO 只改变训练，不引入额外推理开销。

详细算法

1. 问题设定

非可验证任务。数据 $\mathcal D=\{(x,\mathcal R(x))\}$，$\mathcal R(x)=\{(r_j,w_j)\}_{j=1}^M$ 为由 LLM 合成的评分细则及重要性权重；策略 $\pi_\theta$ 采样开放式响应 $y$。LLM grader 对每个 rubric 给二值覆盖标签 $s_j=\mathbb I[y\text{ satisfies }r_j]$。基线奖励是加权覆盖率（recall）。目标：设计既不依赖更多人工细则、又能抑制「堆砌」的奖励。

2. 关键公式

Rubric recall（式 1）：

$$\mathrm{Rec}(x,y)=\frac{\sum_{j=1}^{M}w_j\,s_j(x,y)}{\sum_{j=1}^{M}w_j}$$

必要性额度（式 2–3；$m_{ji}=\mathbb I[u_i\text{ 对 }r_j\text{ 有贡献}]$，$K_j=\sum_i m_{ji}$）：

$$a_{ji}=\begin{cases}m_{ji}/K_j,&K_j>0\\0,&K_j=0\end{cases},\qquad c_i=\sum_{j=1}^Ma_{ji},\qquad N_i=\mathbb I[c_i\ge\tau]$$

事实正确性（式 4）：$C_i=\mathbb I[u_i\text{ 事实正确}]$。精确率（式 5）：

$$\mathrm{Prec}(x,y)=\frac1n\sum_{i=1}^{n}N_iC_i$$

Fork 奖励（式 6，$\beta>1$ 偏重 recall，$\beta<1$ 偏重 precision）：

$$r_{\rm FORK}(x,y)=\frac{(1+\beta^2)\,\mathrm{Prec}\cdot\mathrm{Rec}}{\beta^2\,\mathrm{Prec}+\mathrm{Rec}}\quad(\mathrm{Prec}+\mathrm{Rec}>0;\ \text{否则 }0)$$

目标（式 7）：

$$\max_\theta\ \mathbb E_{x\sim\mathcal D,\ y\sim\pi_\theta(\cdot|x)}\big[r_{\rm FORK}(x,y)\big]$$

3. 逐步伪代码

# 每个训练步 (GRPO, 16 rollouts/prompt)
for 每个 prompt x (含 rubric 集 R(x) = {(r_j, w_j)}):
    采样 16 条响应 y_1..y_16 ~ π_θ(·|x)
    for 每条响应 y:
        units = LLM_unitize(y)                          # 约一句一个 unit; 丢弃问候/标题/过渡
        s_j   = LLM_cover(y, r_j)       for j in 1..M   # 覆盖标签
        Rec   = Σ w_j s_j / Σ w_j
        m_ji  = LLM_match(r_j, u_i)                     # 每个 (rubric, unit) 是否贡献
        K_j   = Σ_i m_ji;   a_ji = m_ji/K_j (K_j>0 else 0)
        c_i   = Σ_j a_ji
        τ     = LLM_threshold(c_1..c_n)                 # grader 给出必要性阈值
        N_i   = 1[c_i >= τ];   C_i = LLM_factcheck(u_i, x)
        Prec  = (1/n) Σ N_i * C_i
        r     = F_β(Prec, Rec)                          # 奖励
    A_k = (r_k - mean(r)) / std(r)                      # GRPO 组内优势
    用 GRPO 目标更新 θ

# 超参: batch 128, lr 4.2e-6 (常数 + 5% warmup), 3 epochs, 8×H100, 上下文 2,000 tokens, T=1.0
# 训练 grader: Qwen3.6-35B-A3B;  评测参考 grader: GPT-5.4

4. 训练 / 推理流程

基座：Qwen2.5-7B-Instruct。数据：RubricHub 的 Medical 子集（训练 12,519 / 测试 1,391）与 Science 子集（19,806 / 2,201，去除 ResearchQA 来源以便作外部评测）。外部评测：HealthBench（医疗）、ResearchQA（科学）。评测方式：(1) rubric-based：macro recall / precision / $F_1$；(2) rubric-free：对基座的 win rate 与平均长度。基线：Standard、OnlineRubrics、Universal Rubrics、Reweighted Absence-Based Rubrics（覆盖类）；Holistic Preference（偏好类）；以及作者自己的精确率变体 Generic / Offline / Online Criteria。

详细算法

1. 问题设定

语言模型为策略 $\pi_\theta(y\mid x)$，自回归生成。验证器 $r(x,y)\in\{0,1\}$。目标是 $\mathbb E_{x\sim\mathcal D}\mathbb E_{y\sim\pi_\theta}[r(x,y)]$。GRPO 对每个 prompt 采样 $G$ 条回答 $\{y_i\}$，用组内奖励的均值/标准差产生响应级优势。

ReAPO 的多尝试设定：第 $g$ 条 rollout 的第 $k$ 次尝试为 $y_{g,k}$，奖励 $r_{g,k}$；$\tau_g=\inf\{k\ge1: r_{g,k}=1\}$ 为首次成功的尝试序号；上下文 $h_{g,k-1}=(x,y_{g,1},\ldots,y_{g,k-1})$。训练时每题最多 $K$ 次尝试（主实验 $K=2$）。

2. 关键公式

GRPO 优势与目标（背景）：

$$\hat A_i=\frac{r_i-\mu_r}{\sigma_r+\varepsilon},\quad \mu_r=\tfrac1G\sum_i r_i,\ \ \sigma_r=\sqrt{\tfrac1G\sum_i(r_i-\mu_r)^2}$$

SSP 视角：令 $q_m(\theta)=\mathbb P(r_m=1\mid r_j=0,\,j<m)$，$\alpha_m=\mathbb P(\tau\ge m)$，$c_m=\sum_{k\ge m}\prod_{j=m+1}^{k}(1-q_j)$（失败 $m$ 次后期望还需的额外尝试数）。则

$$-\nabla_\theta\,\mathbb E_{\pi_\theta}[\tau-1]=\sum_{m=1}^{\infty}\alpha_m(\pi_\theta)\,c_m(\pi_\theta)\,\nabla q_m(\theta)$$

命题 2：若 $c_m\equiv C(\pi_\theta)$ 与 $m$ 无关，则

$$-\nabla_\theta\,\mathbb E[\tau-1]=C(\pi_\theta)\cdot\mathbb E\Big[\tfrac1G\sum_{g=1}^{G}\sum_{k=1}^{\tau_g}r_{g,k}\,\nabla_\theta\log\pi_\theta(y_{g,k}\mid h_{g,k-1})\Big]$$

ReAPO 更新方向（$\hat A_{g,k}$ 的均值与标准差在池化的全部尝试奖励 $\{r_{g,k}\}$ 上计算；$T=\sum_g\sum_{k\le\tau_g}|y_{g,k}|$）：

$$\nabla_\theta\mathcal J_{\text{ReAPO}}=\mathbb E\Big[\frac1T\sum_{g=1}^{G}\sum_{k=1}^{\tau_g}\hat A_{g,k}\,\nabla_\theta\log\pi_\theta(y_{g,k}\mid x,y_{g,<k})\Big]$$

若所有尝试奖励相同，则归一化优势为 0，该题不产生梯度（与 GRPO 一致）。实验中 on-policy（$\pi_{\theta_{\rm old}}=\pi_\theta$）且去掉 KL 项。

3. 逐步伪代码

# 据 §3 文字描述整理（并非逐行抄录论文 Algorithm 1）
输入: 策略 π_θ, 验证器 r, 数据集 D, 组大小 G, 最大尝试数 K, retry 提示语
for 每个训练 step:
    采样一批题目 {x}
    for 每个题目 x:
        for g = 1..G:                                  # 并行 G 条
            y[g,1] ~ π_θ(·|x);   r[g,1] = r(x, y[g,1]);   k = 1
            while r[g,k] == 0 and k < K and 未超 token 预算:
                ctx = x + y[g,1] + ... + y[g,k] + "Your answer is wrong. Reflect on your previous answer and try something else."
                y[g,k+1] ~ π_θ(·|ctx);   r[g,k+1] = r(x, y[g,k+1]);   k += 1
            τ_g = k
        R_pool = 池化所有 r[g,k]
        μ, σ = mean(R_pool), std(R_pool)
        Â[g,k] = (r[g,k] - μ) / (σ + ε)               # 所有尝试一起归一化
    # 优势只分配给对应尝试自己的 token
    loss = - (1/T) * Σ_g Σ_{k<=τ_g} Â[g,k] * Σ_{token∈y[g,k]} log π_θ(token | 其前缀与上下文)
    θ <- θ - lr * ∇loss

4. 训练 / 推理流程

训练：模型为 Qwen3-0.6B-Base（GSM8K-Platinum，8 个种子）、Qwen3-1.7B-Base 与 Qwen3-4B-Base，另用 OLMo-2-0425-1B-SFT 做跨模型族验证；覆盖 8 个数学与科学推理基准，主实验 $K=2$。

推理：评测只看「首次尝试」，推理时不需要验证器与重试——重试仅在训练中用来改进探索与信用分配。

对照：GRPO（同步数）、GRPO 双倍步数、GRPO 双倍组大小（$G=32$，对应 $G=16,K=2$ 的最大尝试数）、SCoRe Stage-II-only、MaxRL，以及「无条件重试」「整条轨迹单一优势」两个消融。

详细算法

1. 问题设定

rectified-flow 参数化：$t=1$ 为噪声，$t=0$ 为干净样本；前向状态 $x_t=\alpha_tx_0+\sigma_t\epsilon$，样本速度目标 $u_t=x_0-\epsilon$。每次迭代对每个 prompt $c$ 从冻结的 rollout 策略 $p_{\rm old}$ 采 $K$ 个端点 $x_0^{(i)}$，得到黑盒奖励 $R_i=R(x_0^{(i)},c)$，不要求奖励可微。目标：用这些端点级反馈高效而稳定地更新速度网络 $v_\theta(x_t,t,c)$。

2. 关键公式

NFT 的目标（背景），$r_i=\tfrac12[1+\mathrm{clip}((R_i-\bar R_c)/Z_c,-1,1)]$，$v_{\theta,\pm}=v_{\rm old}\pm\beta(v_\theta-v_{\rm old})$：

$$\mathcal L_{\rm NFT}=\mathbb E\big[r\|v_{\theta,+}-u_t\|^2+(1-r)\|v_{\theta,-}-u_t\|^2\big]=\beta^2\mathbb E\|v_\theta-v_{\rm tgt}\|^2+\text{const}$$

命题 1（NFT 力分解），$e=v_{\rm fwd}^{\rm old}-v_{\rm rvs}^{\rm old}$：

$$\mathcal F_{\rm NFT}(s_t)=2g+(2q-1)e,\qquad \mathcal F_+=g+qe,\quad \mathcal F_-=g-(1-q)e$$

指数倾斜与协方差引理：$p_\tau(x_0\mid c)\propto p_{\rm old}(x_0\mid c)\,e^{\tau R(x_0,c)}$，则

$$\left.\frac{\partial}{\partial\tau}\mathbb E_{p_\tau}[x_0\mid c]\right|_{\tau=0}=\operatorname{Cov}_{p_{\rm old}}(R,x_0\mid c)$$

聚合优先的引导方向（式 5）：

$$\overline{\rm Cov}=\frac1K\sum_{i=1}^K(R_i-\bar R_c)(x_0^{(i)}-\bar x_{0,c}),\qquad G(c)=\frac{\overline{\rm Cov}}{\mathrm{RMS}(\overline{\rm Cov})}$$

冻结目标与逐状态损失（$w$ 含时间步权重与掩码，$D$ 为输出维数）：

$$v^{\rm ART}_{\rm tgt}(s_t)=v^{(0)}_\theta(s_t)+G(c),\qquad \mathcal L_\theta(s_t)=w(s_t)\cdot\tfrac1D\|v_\theta(s_t)-v^{\rm ART}_{\rm tgt}(s_t)\|_2^2$$

两次更新的输出梯度（$d=v_\theta-v^{(0)}_\theta$ 为漂移）：

$$-\nabla_{v_\theta}\mathcal L\big|_{v^{(0)}_\theta}=\tfrac{2w}{D}G(c),\qquad -\nabla_{v_\theta}\mathcal L\big|_{v^{(1)}_\theta}=\tfrac{2w}{D}\big(G(c)-d(s_t)\big)$$

Trust-region 掩码（KL 代理 $m$；$\delta=10^{-5}$）：

$$m(s_t)=\frac{\|\mu(s_t,v_\theta)-\mu(s_t,v^{(0)}_\theta)\|_2^2}{2D\,\sigma_{\rm ref}^2(t)},\qquad w(s_t)=t\Big[1-\mathbf 1\{m\ge\delta\}\,\mathbf 1\{\langle d,\,G-d\rangle>0\}\Big]$$

3. 逐步伪代码

# 据 §4 文字整理 (论文 Algorithm 1 的正文在文本抽取中缺失, 故非逐行抄录)
输入: 速度网络 v_θ, 黑盒奖励 R, prompt 集, 每组样本数 K
for 每个训练迭代:
    # Rollout (ODE 采样, 不需要 SDE 似然)
    for 每个 prompt c:
        用当前网络 v_θ(0) 采 K 个端点 x0^(i); 缓存沿途每个状态 s_t 的预测 v_θ(0)(s_t)
        R_i = R(x0^(i), c)                      # 标量, 或成对偏好标签 (Pairwise 变体)
        # 聚合优先: 每个 prompt 一个共享方向
        Cov = (1/K) Σ_i (R_i - R̄)(x0^(i) - x̄0)
        G(c) = Cov / RMS(Cov)
        对该 prompt rollout 经过的每个状态 s_t:  v_tgt = v_θ(0)(s_t) + G(c)
    # 把本批数据拆成两个不相交的 mini-batch B1, B2
    for B in (B1, B2):                          # 两次更新
        对 B 中每个状态:
            d = v_θ(s_t) - v_θ(0)(s_t)
            m = KL 代理 (式 7);  w = t * (1 - 1[m>=δ] * 1[<d, G-d> > 0])
            loss += w * MSE(v_θ(s_t), v_tgt)
        θ <- AdamW 更新
    # 第 2 次更新自带恢复力 -d; 无需 EMA 调度

4. 训练 / 推理流程

T2I：SD3.5-M（LoRA r=32, α=64, 512×512, lr $3\times10^{-4}$, 10 步 rollout），奖励 GenEval / OCR / PickScore（及联合 CLIPScore、HPSv2.1）；FLUX.1-dev (12B)：6 步 rollout、guidance 嵌入 3.5。T2V：全参数微调 CFG 蒸馏的 HunyuanVideo-13B，lr $10^{-5}$，每批 32 个 prompt × 8 个视频，53 帧、480×480、8 FPS、16 步采样；VideoReward（VQ 视觉质量 / MQ 运动质量 / TA 文本对齐）按 7:2:1 加权。另有 I2V 与 Pairwise 实验。

基线：Flow-GRPO、Flow-GRPO-Fast (CPS)、DanceGRPO、Flow-DPPO、DiffusionNFT（有 / 无 EMA）。

详细算法

1. 问题设定

RL 后训练的两条执行路径：rollout（推理引擎，用 FP4 加速；这里用 SGLang）与训练（Megatron，BF16 前向/反向，QAT 时前向做 FP4 fake quantization）。对同一轨迹、token 位置与量化位点（site），记训练侧激活 $X_{\rm train}$ 与 rollout 侧激活 $X_{\rm rollout}$。目标：降低两条路径量化后的差异，同时不引入难以承受的存储 / 通信开销。

2. 关键公式

局部量化差异（式 1）：

$$\mathcal D_{\rm act}=\big\|Q^{\rm train}_{\rm FP4}(X_{\rm train})-Q^{\rm rollout}_{\rm FP4}(X_{\rm rollout})\big\|_F$$

既有方法的目标（只降低各自量化误差）：$\mathcal L_{\rm error}(X)=\|X-Q(X)\|_F$。

Rollout 引导舍入（式 2；$q_\pm$ 为 rollout 侧 scale 下训练激活相邻的两个归一化 E2M1 码字，$q_{\rm rollout}$ 为对应 rollout 激活实际得到的码字）：

$$q_{\rm TRACE}=\arg\min_{q\in\{q_-,q_+\}}\big|q-q_{\rm rollout}\big|$$

局部不劣于 RTN（式 3）：

$$|q_{\rm TRACE}-q_{\rm rollout}|\ \le\ |q_{\rm RTN}-q_{\rm rollout}|$$

相对额外差异（诊断量）：

$$\frac{D_{\rm FP4}-D_{\rm BF16}}{D_{\rm BF16}}$$

（$D$ 为训练—rollout 激活 MSE。）压缩通信下的参考重建：选择低 $b$ 位码与记录 $c$ 一致、且幅值最接近 $|z|$ 的 E2M1 幅值，符号取训练激活的符号；仅作局部引导目标，而非精确还原。

3. 逐步伪代码

# 据 §3 与 A.1 的文字描述整理 (论文 Algorithm 1 的框内行文本在抽取中缺失)
Rollout 阶段 (SGLang, FP4 路由专家 + FP4 KV):
    for 每个生成的 token, 每个量化位点 (MoE 专家输入 / 后半层 KV):
        记录 rollout 侧的 (尾数低 b 位 [b=1], scale)         # 后半层才记录
        激活侧: 先写入临时 GPU buffer -> 异步卸载到 CPU; KV 侧: 请求结束后从 FP4 KV cache 收集
    序列化并按 (trajectory, token, site) 索引保存

QAT 训练阶段 (Megatron, BF16 反向):
    for 每个微批:
        载入对应记录并按 (trajectory, token, site) 配对
        for 每个被记录位点的训练激活 z:
            (q-, q+) = BracketFP4(z)                           # 相邻 E2M1 舍入候选
            ref = Reconstruct(记录 c, scale s, z)              # 低 b 位码匹配的最近 E2M1 幅值, 符号取自 z
            q = 距 ref 更近的候选                              # 代替 RTN
            z_q = STE(z, q * s)                                # 前向用 q, 梯度穿透到 z
        GRPO + R3 路由回放 + token 级重要性比 (clip 上界 5, max_version_diff=3)

4. 训练 / 推理流程

模型：Qwen3.5-35B-A3B（推理 RL，400 步）、Qwen3.5-122B-A10B（代码 RL，50 步，DeepSWE v1.1）、Qwen3.8-Flash-Next（125B 总 / 6B 激活，代码 RL，400 步，Terminal-Bench 2.1）、Qwen3.8-2.4T-A95B（长程 RL，50 步，GDPval）。基线：vanilla NVFP4、QAT、QaRL、QUADS、Score Centering；MXFP4 变体；以及 BF16 训练后再做 post-hoc FP4（4over6、H-Scale）。设置：VeRL 异步 RL + Megatron + SGLang，disaggregated 部署；GRPO + R3 + token 级重要性比（上界 5）。每步采样 $256{\times}16$ / $128{\times}16$ / $64{\times}16$ / $64{\times}8$ 条轨迹。