训练与数据 Training & Data

详细算法

1. 问题设定

RL 后训练的两条执行路径：rollout（推理引擎，用 FP4 加速；这里用 SGLang）与训练（Megatron，BF16 前向/反向，QAT 时前向做 FP4 fake quantization）。对同一轨迹、token 位置与量化位点（site），记训练侧激活 $X_{\rm train}$ 与 rollout 侧激活 $X_{\rm rollout}$。目标：降低两条路径量化后的差异，同时不引入难以承受的存储 / 通信开销。

2. 关键公式

局部量化差异（式 1）：

$$\mathcal D_{\rm act}=\big\|Q^{\rm train}_{\rm FP4}(X_{\rm train})-Q^{\rm rollout}_{\rm FP4}(X_{\rm rollout})\big\|_F$$

既有方法的目标（只降低各自量化误差）：$\mathcal L_{\rm error}(X)=\|X-Q(X)\|_F$。

Rollout 引导舍入（式 2；$q_\pm$ 为 rollout 侧 scale 下训练激活相邻的两个归一化 E2M1 码字，$q_{\rm rollout}$ 为对应 rollout 激活实际得到的码字）：

$$q_{\rm TRACE}=\arg\min_{q\in\{q_-,q_+\}}\big|q-q_{\rm rollout}\big|$$

局部不劣于 RTN（式 3）：

$$|q_{\rm TRACE}-q_{\rm rollout}|\ \le\ |q_{\rm RTN}-q_{\rm rollout}|$$

相对额外差异（诊断量）：

$$\frac{D_{\rm FP4}-D_{\rm BF16}}{D_{\rm BF16}}$$

（$D$ 为训练—rollout 激活 MSE。）压缩通信下的参考重建：选择低 $b$ 位码与记录 $c$ 一致、且幅值最接近 $|z|$ 的 E2M1 幅值，符号取训练激活的符号；仅作局部引导目标，而非精确还原。

3. 逐步伪代码

# 据 §3 与 A.1 的文字描述整理 (论文 Algorithm 1 的框内行文本在抽取中缺失)
Rollout 阶段 (SGLang, FP4 路由专家 + FP4 KV):
    for 每个生成的 token, 每个量化位点 (MoE 专家输入 / 后半层 KV):
        记录 rollout 侧的 (尾数低 b 位 [b=1], scale)         # 后半层才记录
        激活侧: 先写入临时 GPU buffer -> 异步卸载到 CPU; KV 侧: 请求结束后从 FP4 KV cache 收集
    序列化并按 (trajectory, token, site) 索引保存

QAT 训练阶段 (Megatron, BF16 反向):
    for 每个微批:
        载入对应记录并按 (trajectory, token, site) 配对
        for 每个被记录位点的训练激活 z:
            (q-, q+) = BracketFP4(z)                           # 相邻 E2M1 舍入候选
            ref = Reconstruct(记录 c, scale s, z)              # 低 b 位码匹配的最近 E2M1 幅值, 符号取自 z
            q = 距 ref 更近的候选                              # 代替 RTN
            z_q = STE(z, q * s)                                # 前向用 q, 梯度穿透到 z
        GRPO + R3 路由回放 + token 级重要性比 (clip 上界 5, max_version_diff=3)

4. 训练 / 推理流程

模型：Qwen3.5-35B-A3B（推理 RL，400 步）、Qwen3.5-122B-A10B（代码 RL，50 步，DeepSWE v1.1）、Qwen3.8-Flash-Next（125B 总 / 6B 激活，代码 RL，400 步，Terminal-Bench 2.1）、Qwen3.8-2.4T-A95B（长程 RL，50 步，GDPval）。基线：vanilla NVFP4、QAT、QaRL、QUADS、Score Centering；MXFP4 变体；以及 BF16 训练后再做 post-hoc FP4（4over6、H-Scale）。设置：VeRL 异步 RL + Megatron + SGLang，disaggregated 部署；GRPO + R3 + token 级重要性比（上界 5）。每步采样 $256{\times}16$ / $128{\times}16$ / $64{\times}16$ / $64{\times}8$ 条轨迹。