推理与服务 Inference & Serving

详细算法

1. 问题设定

自回归 LLM：$p_\theta(x_{t+1}\mid x_{1:t})$；有 KV cache 时 $p_\theta(x_{t+1}\mid x_t,\mathcal C_{1:t-1})$。智能体轨迹 $x_{1:t}$ 包含 prompt、assistant 消息与工具响应，称为 logical token sequence。Active cache $\mathcal C$ 是后续 attention 实际可见的 KV 集合，其长度不必等于逻辑长度，且缓存项的位置编码索引也可独立于其逻辑索引。

目标：在不改变轨迹文本、不 re-prefill 保留部分的情况下，让 $\mathcal C$ 受智能体 / harness 控制，同时服务端能正确复用、驱逐与恢复这些「历史相关」的缓存。

2. 关键公式

三种缓存操作：

$$\operatorname{append}(x_{t+1}):\ \mathcal C\leftarrow[\mathcal C;\,C_{t+1}]$$

$$\operatorname{drop}(P):\ \mathcal C\leftarrow\mathcal C\setminus\{C_i:i\in P\}$$

（drop 只让这些 KV 不再参与后续 attention，保留项及其位置编码不变。）

Repos（RoPE 重定位）：保留 $r$ 个缓存项，其位置索引重置为 $0,\ldots,r-1$，下一个 token 使用索引 $r$。对 RoPE 键从位置 $p$ 移到 $q$：

$$K\leftarrow R(q)\,R(p)^{-1}K,\qquad V\ \text{不变}$$

缓存操作序列（确定性地描述缓存状态，从空缓存起）：

$$o_{1:m}=(o_1,\ldots,o_m),\qquad o_j\in\{\operatorname{append}(x),\ \operatorname{drop}(P),\ \operatorname{repos}\}$$

对固定 LLM，该序列决定当前缓存状态；仅有 token 与保留位置不足以决定下一 token 的概率。

3. 逐步伪代码

# 智能体侧 (tool-response rolling drop, 主策略)
每轮 agent 迭代:
    messages = 完整逻辑历史                       # 文本不改
    cache.drop  = 把 "早于最近 12 条的工具响应" 的消息下标加入 drop 表
    if 活跃上下文长度 > repos 阈值:  cache.reposition 追加当前消息边界
    请求 = {model, messages, cache}              # 无状态: 每次请求完整描述自己用到的缓存
    response = AKV.chat(请求)

# 服务端 AKV (对每个请求)
1. 前缀匹配: 在 extended radix tree 上沿 (token, 操作) 匹配
       - 遇到 drop 节点 Δ(记录被丢弃的逻辑下标): 仅当操作历史一致才复用
       - 遇到 reposition 节点: 位置编号一致则直接复用; 不一致则 "拷贝 + 旋转 K" (V 直接拷贝)
2. 缺失部分 (被逐出或首次出现) 用 segment-batch attention 单次 prefill 恢复:
       for 每一层:
           按 drop / repos 触发点把 query 切成段
           每段: 因果地 attend 自己的 token + 之前各段的 *活跃* 缓存
                 (被 drop 的缓存对之后的段不可见, 对原先使用它的更早的段仍可见)
           需要不同位置编码的段 -> 临时旋转 K / 拷贝 V 生成临时版本
           FFN 对整个序列只做一次批处理
3. 解码: 在 active cache 上生成, 把新 KV 写入树
4. 逐出: 先回收 "已被所有相关请求 drop" 的缓存, 再回收已完成请求的缓存; 节点保留为空占位, 以便后代缓存仍可前缀匹配

4. 训练 / 推理流程

评测模型：MiniMax-M2.7（230B 总参 / 10B 激活）、GPT-OSS-120B（高推理强度）、MiroThinker-1.7-Mini（30B / 3B 激活）。基准：BrowseComp-Plus（BCP）、xbench-DeepSearch-2510、GAIA 文本验证子集（103 题）、SWE-bench Verified。

对照：Standard（模型相关的摘要阈值：96K / 96K / 192K tokens）与 Text Engineering（统一 48K 阈值摘要）；AKV 取最近 12 条工具响应滚动 drop，repos 阈值同 Standard。

成本核算：用各厂商公开单价，对 AKV 每个被 repos 的 token 按缓存命中价额外计费（有意高估键旋转成本）。服务实验：基于 SGLang，8×A800-80GB（4 卡 prefill + 4 卡 decode，TP=4），因 A800 无原生 MXFP4，权重用 BF16。

详细算法

1. 问题设定

输入 token 序列，输出自回归下一 token 分布。关键设计问题：如何在参数量固定（4B）的前提下，让每个 token 的计算量可调？Dory 的回答是 参数共享的深度循环：用同一个 20 层 R 块重复计算，把额外算力花在「潜空间思考」而不是更长的输出上。

2. 关键公式

【模型卡只给出结构描述、没有公式】 下式是依据模型卡文字（I/R/O 三组；R 重复；输入重注入每次循环）所做的示意，其中重注入的具体算子 $f$ 未公开（待确认）：

$$h_I=I(x),\qquad s_0=h_I,\qquad s_k=R\big(f(h_I,\,s_{k-1})\big),\ k=1,\ldots,n,\qquad y=O(s_n),\quad n\in\{1,2,3,4\}$$

KV cache 内存（模型卡文字）：per-loop 模式下 R 层 KV 占用 $\propto n$；last-loop 模式下与 $n$ 无关（每个循环注意力层仅保留最后一圈的 K/V）。

NVFP4（背景）：4 位浮点（E2M1）按小块缩放；Dory 用它做前 ~4.5T tokens 的原生预训练，之后切回 BF16。

3. 逐步伪代码

# 推理（示意；f 的具体形式模型卡未公开 -> 待确认）
def forward(tokens, n_loops, kv_mode):          # n_loops ∈ {1,2,3,4}; kv_mode ∈ {per_loop, last_loop}
    h_in = I_block(tokens)                       # 8 层
    s = h_in
    for k in 1..n_loops:
        s = R_block( inject(h_in, s) )           # 共享的 20 层; 输入重注入每一圈
        if kv_mode == "last_loop":
            覆盖写入 R 层的 K/V (只保留最后一圈)
        else:
            按圈各存一份 K/V
    return O_block(s)                            # 8 层 -> logits

# 服务（模型卡示例参数）
vLLM:      --hf-overrides '{"n_recurrent_loops": 2, "recurrent_kv_cache_mode": "last_loop"}'
llama.cpp: --override-kv "dory.num_loops=int:2,dory.recurrent_kv_cache_mode=str:last_loop"

4. 训练 / 推理流程

1. 预训练：6T tokens，Megatron-LM；前约 4.5T 为 NVFP4，其余为 BF16；数据为爬取 + 合成的代码、数学、科学与通用知识。
2. 上下文扩展：300B tokens → 256K。
3. SFT：NVIDIA 精选 SFT 数据。
4. RL：多环境 GRPO（数学、代码、科学、指令遵循、多步工具使用、多轮对话、结构化输出），异步 RL 架构解耦训练与推理。
5. 部署：BF16 / MXFP8（W8A16）/ NVFP4（W4A16）/ GGUF Q5_K_M；模型卡注明：vLLM 的 Dory 支持仍在评审中（vllm-project/vllm#60149，需从该 PR 安装）；llama.cpp 的支持在 PR #30306 中（需从含 Dory 的源码构建）。

详细算法

1. 问题设定

RL 后训练的两条执行路径：rollout（推理引擎，用 FP4 加速；这里用 SGLang）与训练（Megatron，BF16 前向/反向，QAT 时前向做 FP4 fake quantization）。对同一轨迹、token 位置与量化位点（site），记训练侧激活 $X_{\rm train}$ 与 rollout 侧激活 $X_{\rm rollout}$。目标：降低两条路径量化后的差异，同时不引入难以承受的存储 / 通信开销。

2. 关键公式

局部量化差异（式 1）：

$$\mathcal D_{\rm act}=\big\|Q^{\rm train}_{\rm FP4}(X_{\rm train})-Q^{\rm rollout}_{\rm FP4}(X_{\rm rollout})\big\|_F$$

既有方法的目标（只降低各自量化误差）：$\mathcal L_{\rm error}(X)=\|X-Q(X)\|_F$。

Rollout 引导舍入（式 2；$q_\pm$ 为 rollout 侧 scale 下训练激活相邻的两个归一化 E2M1 码字，$q_{\rm rollout}$ 为对应 rollout 激活实际得到的码字）：

$$q_{\rm TRACE}=\arg\min_{q\in\{q_-,q_+\}}\big|q-q_{\rm rollout}\big|$$

局部不劣于 RTN（式 3）：

$$|q_{\rm TRACE}-q_{\rm rollout}|\ \le\ |q_{\rm RTN}-q_{\rm rollout}|$$

相对额外差异（诊断量）：

$$\frac{D_{\rm FP4}-D_{\rm BF16}}{D_{\rm BF16}}$$

（$D$ 为训练—rollout 激活 MSE。）压缩通信下的参考重建：选择低 $b$ 位码与记录 $c$ 一致、且幅值最接近 $|z|$ 的 E2M1 幅值，符号取训练激活的符号；仅作局部引导目标，而非精确还原。

3. 逐步伪代码

# 据 §3 与 A.1 的文字描述整理 (论文 Algorithm 1 的框内行文本在抽取中缺失)
Rollout 阶段 (SGLang, FP4 路由专家 + FP4 KV):
    for 每个生成的 token, 每个量化位点 (MoE 专家输入 / 后半层 KV):
        记录 rollout 侧的 (尾数低 b 位 [b=1], scale)         # 后半层才记录
        激活侧: 先写入临时 GPU buffer -> 异步卸载到 CPU; KV 侧: 请求结束后从 FP4 KV cache 收集
    序列化并按 (trajectory, token, site) 索引保存

QAT 训练阶段 (Megatron, BF16 反向):
    for 每个微批:
        载入对应记录并按 (trajectory, token, site) 配对
        for 每个被记录位点的训练激活 z:
            (q-, q+) = BracketFP4(z)                           # 相邻 E2M1 舍入候选
            ref = Reconstruct(记录 c, scale s, z)              # 低 b 位码匹配的最近 E2M1 幅值, 符号取自 z
            q = 距 ref 更近的候选                              # 代替 RTN
            z_q = STE(z, q * s)                                # 前向用 q, 梯度穿透到 z
        GRPO + R3 路由回放 + token 级重要性比 (clip 上界 5, max_version_diff=3)

4. 训练 / 推理流程

模型：Qwen3.5-35B-A3B（推理 RL，400 步）、Qwen3.5-122B-A10B（代码 RL，50 步，DeepSWE v1.1）、Qwen3.8-Flash-Next（125B 总 / 6B 激活，代码 RL，400 步，Terminal-Bench 2.1）、Qwen3.8-2.4T-A95B（长程 RL，50 步，GDPval）。基线：vanilla NVFP4、QAT、QaRL、QUADS、Score Centering；MXFP4 变体；以及 BF16 训练后再做 post-hoc FP4（4over6、H-Scale）。设置：VeRL 异步 RL + Megatron + SGLang，disaggregated 部署；GRPO + R3 + token 级重要性比（上界 5）。每步采样 $256{\times}16$ / $128{\times}16$ / $64{\times}16$ / $64{\times}8$ 条轨迹。