智能体 Agents

详细算法

1. 问题设定

【说明】这是一篇系统 / 流程类博客，没有数学形式化的新算法；以下按其公开描述整理成「分层筛查 + 升级」的流程，数值（5%、15 分钟、30 分钟等）均为博客所述。 目标：在训练、评测、内部使用与外部部署中，尽早发现智能体越权行为与失对齐，在代价（算力）与召回之间取得平衡。

2. 关键公式

本文没有数学公式。博客给出的量化参数如下（均为 OpenAI 所述）：

• L0 对未标记流量的随机复查比例：$5\%$；
• L1 检查间隔目标：$\le 30$ 分钟；
• 最高优先级告警触达人工：通常 $\le 15$ 分钟；
• 拟议安全阀：寻呼后 $30$ 分钟内未排除最高优先级告警则自动暂停相关活动。

设计取向是「前面几层宁可多放行（高召回），后面几层把算力花在单个案例上」；博客没有公布各层召回 / 精确率的数值表（图表见原文，本站未读取图中数值）。

3. 逐步伪代码

# 据博客描述整理的流程（概念性，非 OpenAI 代码）
for 每个受监控的工作负载 (RL run / 评测 / 内部 Codex / 外部部署的受控版本):
    if 工作负载是前沿 RL 或内部 Codex:  跳过 L0
    else:
        L0: activation probe(内部激活) -> 高召回, 允许误报
            未标记流量中随机 5% 也送 L1  (用来发现探针漏掉的)
    L1: 模型审查员 (同一上下文窗口; 看对话 + 思维链 + 工具调用)
        在每个 turn 结束 / 每次摘要时运行 (目标: 间隔 <= 30 分钟)
        找: 欺骗 / 越权 / 操纵评测
    if L1 标记:
        L2: 调查智能体 (可读全部上下文窗口, 写并运行隔离代码取证)
            安全调查员: 是否需要人立刻介入 (逃逸沙箱, 未授权访问)
            对齐调查员: 是否值得研究 (无即时安全风险)
        if 敏感工作负载:
            L3: 对照网络日志 / 系统遥测 / 历史案例  -> 决定是否呼叫人
        if 最高优先级(P0):
            呼叫安全与训练团队 (通常 <=15 分钟; 部分负载可自动暂停)
# 训练侧原则: 被标记的 RL 样本不改奖励, 仍保留在训练中; 监控异步, 不阻塞训练

4. 训练 / 推理流程

评估闭环：(1) 回放已记录事件（来自训练、评测、内部使用）并检查是否识别、是否给出足够高的优先级；(2) 在隔离环境运行模拟攻击——OAI-repo Sabotage v2（智能体在正常编码任务中追求隐藏目标，如关闭监控或部署未批准检查点）与 Sneaky Sandbox Escape（试图逃出沙箱并关闭外部测试监控进程）；监控员看得到推理但看不到下达隐藏目标的指令；(3) 对放行流量的随机审计；(4) 红队：让最强智能体尝试规避或关闭监控；(5) 在中央仪表板上跟踪各阈值的召回，部署前先测改动对召回的影响。

详细算法

1. 问题设定

交互轨迹 $\tau=(o_0,a_0,o_1,a_1,\ldots,o_T,a_T)$，其中 $o_0$ 为任务 prompt，$a_t$ 为第 $t$ 轮 assistant 输出（工具调用或最终回答），$o_{t+1}$ 为环境反馈。每个输出是 token 序列 $a_t=(a_{t,1},\ldots,a_{t,L_t})$。历史 $h_t=(o_0,a_0,\ldots,o_t)$，token 前缀 $h_{t,i}=(h_t,a_{t,<i})$。

策略自回归分解：$\pi_\theta(a_t\mid h_t)=\prod_{i=1}^{L_t}\pi_\theta(a_{t,i}\mid h_{t,i})$。只有终端奖励 $R(\tau)$，且仅最后一个 token 获得：$r_{t,i}=R(\tau)$ 当 $t=T,i=L_T$，其余为 0。目标 $\mathcal J(\theta)=\mathbb E_{\tau\sim p_\theta}[R(\tau)]$。环境 token 进入历史但不是策略动作。

2. 关键公式

价值边界与 TD 残差（critic $V_{t,i}=V(h_{t,i})$，rollout 时固定；$\gamma=1$）：

$$V_{t,L_t+1}:=V_{t+1,1},\quad V_{T+1,1}:=0,\qquad \delta_{t,i}=r_{t,i}+V_{t,i+1}-V_{t,i}$$

轮级 GAE（轮内 TD 残差求和后，内部 critic 预测相互抵消）：

$$\delta^{\text{turn}}_t=\sum_{i=1}^{L_t}\delta_{t,i}=\mathbf 1\{t=T\}R(\tau)+V_{t+1,1}-V_{t,1},\qquad A^{\text{turn}}_t=\delta^{\text{turn}}_t+\lambda A^{\text{turn}}_{t+1}$$

轮内局部 trace（只在本轮内截断）：

$$A^{\text{intra}}_{t,i}=\sum_{j=i}^{L_t}\lambda_{\text{intra}}^{\,j-i}\,\delta_{t,j}$$

MAE：带均值约束的最小二乘投影 $\min_{\mathbf w}\tfrac12\|\mathbf w-\beta\mathbf A^{\text{intra}}_t\|_2^2$，约束 $\tfrac1{L_t}\sum_i w_i=A^{\text{turn}}_t$，其唯一解：

$$A^{\text{MAE}}_{t,i}=A^{\text{turn}}_t+\beta\big(A^{\text{intra}}_{t,i}-\overline{A}^{\text{intra}}_t\big),\qquad \overline A^{\text{intra}}_t=\tfrac1{L_t}\textstyle\sum_i A^{\text{intra}}_{t,i}$$

整轮重要性比与 stop-gradient 构造：

$$\rho_{t,i}=\frac{\pi_\theta(a_{t,i}\mid h_{t,i})}{\pi(a_{t,i}\mid h_{t,i})},\quad \rho_t=\prod_{i}\rho_{t,i},\quad \tilde\rho_{t,i}=\rho_{t,i}\cdot\mathrm{sg}\Big[\prod_{j\ne i}\rho_{t,j}\Big]$$

前向值 $\tilde\rho_{t,i}=\rho_t$，梯度 $\nabla\tilde\rho_{t,i}=\rho_t\nabla\log\pi_\theta(a_{t,i}\mid h_{t,i})$。

MPO 目标（$\widehat A$ 为在 batch 内对所有有效 assistant token 归一化后的 MAE 优势，更新期间固定）：

$$\mathcal L_{\text{MPO}}(\theta)=\widehat{\mathbb E}_{t,i}\Big[\min\big(\tilde\rho_{t,i}\widehat A^{\text{MAE}}_{t,i},\ \mathrm{clip}(\tilde\rho_{t,i},1-\epsilon,1+\epsilon)\widehat A^{\text{MAE}}_{t,i}\big)\Big]$$

理论：turn 级改进下界（$A_{\max}$ 为优势上界，$\alpha_M$ 为各历史处整轮输出分布的最大 TV 距离）：

$$\mathcal J(\pi')-\mathcal J(\pi)\ \ge\ \mathcal S_M-2A_{\max}T(T+1)\alpha_M^2$$

3. 逐步伪代码

输入: 策略 π_θ, critic V_φ, 任务集 D, 超参 λ, λ_intra, β, ε
      (论文消融中最佳: λ=0.80, λ_intra=0.95, β=1.0; critic 的 λ_critic=1)

repeat 每个训练迭代:
    # 1. Rollout
    对每个任务采样轨迹 τ=(o0,a0,...,oT,aT); 记录每个 assistant token 的 log π_old 与终端奖励 R(τ)

    # 2. 取旧策略下的 critic 值 (估计优势期间固定)
    V[t,i] = V_φ(h_{t,i});   V[t,L_t+1] := V[t+1,1];   V[T+1,1] := 0

    # 3. token 级 TD 残差
    δ[t,i] = r[t,i] + V[t,i+1] - V[t,i]          # r 仅在轨迹最后一个 token 为 R(τ)

    # 4. 轮级 GAE (跨轮传播信用)
    A_turn[T+1] = 0
    for t = T downto 0:
        δ_turn[t] = Σ_i δ[t,i]
        A_turn[t] = δ_turn[t] + λ * A_turn[t+1]

    # 5. 轮内再分配 (均值保持)
    for 每一轮 t:
        A_intra[t, L_t+1] = 0
        for i = L_t downto 1:
            A_intra[t,i] = δ[t,i] + λ_intra * A_intra[t,i+1]
        Ā = mean_i A_intra[t,i]
        A_MAE[t,i] = A_turn[t] + β * (A_intra[t,i] - Ā)

    # 6. batch 内对所有有效 assistant token 归一化 -> Â, 更新期间固定

    # 7. 策略更新 (整轮重要性比 + stop-gradient)
    ρ[t,i]  = π_θ(a_{t,i}|h_{t,i}) / π_old(a_{t,i}|h_{t,i})
    ρ̃[t,i] = ρ[t,i] * stopgrad( Π_{j≠i} ρ[t,j] )      # 前向值 = 整轮比 ρ_t
    L = mean_{t,i} min( ρ̃·Â , clip(ρ̃, 1-ε, 1+ε)·Â )
    θ <- θ + lr * ∇_θ L

    # 8. critic 更新: 以 λ_critic=1 直接回归终端回报 R(τ)

4. 训练 / 推理流程

训练：在三类智能体环境中分别训练——Search、Claw-Eval、Automation Bench；步数分别为 300 / 300 / 200。基座为 Qwen3-4B-Thinking 与 Qwen3-30B-A3B-Instruct。对比 Base、GRPO、GSPO、PPO、VAPO、SAO，另设「MPO w/ token IS」（保留 MAE，但把整轮比换回 token 比）以隔离更新目标的作用。

评测协议：每次训练取最佳 checkpoint，离线评测 5 次取均值。Search 以 BrowseComp-Plus、GAIA、HLE 报告 pass@1 / pass@3（训练后模型用每题 32 条独立 rollout 估计）；Claw-Eval 报告 pass@3 与 pass^3；Automation Bench 报告 pass@1。

推理：推理时就是普通的智能体推理，MPO 只改变训练，不引入额外推理开销。

详细算法

1. 问题设定

这不是新模型，而是一个诊断协议。给定记忆系统 $S$ 与参照 RAG，对每个查询 $q$ 得到两个二值结果 $c_S(q),c_{\rm RAG}(q)\in\{0,1\}$（judge 判定是否答对）。

2. 关键公式

【编者形式化】 论文以文字与 Venn 图定义收益 / 税，下式为本站依据其定义写出的记号（非论文原式）：

$$\mathcal B=\{q:\ c_S(q)=1,\ c_{\rm RAG}(q)=0\},\qquad \mathcal T=\{q:\ c_S(q)=0,\ c_{\rm RAG}(q)=1\}$$

$$\text{Net}(S)=\mathrm{Acc}(S)-\mathrm{Acc}(\mathrm{RAG})=\frac{|\mathcal B|-|\mathcal T|}{N}$$

当 $|\mathcal T|>|\mathcal B|$ 即税超过收益。

检索预算对齐（Retrieval Scope），论文文字定义：

$$\mathrm{RS}(S)=\frac{\#\text{tokens of memory units exposed to the LLM (retrieval→answer)}}{\#\text{tokens in the system's retrievable store}}$$

Gold 对照的诊断逻辑：用 gold memory units 去掉检索失败后，剩余差距反映「构造期损失」；gold raw turns 与 gold memory units 之间的差距反映「信息被加工后丢失」。

3. 逐步伪代码

# 诊断流程 (据论文 §3–§6 整理)
for 每个记忆系统 S, 每个骨干 B, 每个基准:
    1. 用 B 构造记忆 M = I(H); 以 RS 对齐检索预算 (调 top-k)
    2. 逐题回答: c_S(q) 与 c_RAG1(q), c_RAG2(q)  (1 轮 / 2 轮 RAG)
    3. 计算 收益集合 B 与 税集合 T (相对 RAG 1 轮), 画 Venn 图 (Fig.2)
    # 追根溯源
    4. 忠实度: 仅用 gold raw turns 作答 vs 仅用 gold memory units 作答;
               抽样原子事实 -> 追踪到记忆单元 -> 标注 NL / PL / ML / NU (无损/部分/重大损失/无单元)
    5. 可访问性: 多轮检索回放, 记录召回全部 gold 单元所需轮数; 比较 sim(q, gold raw turn) vs sim(q, gold memory unit)
    6. 稳健性: 构造骨干 × 作答骨干 交叉, 看掉点是否大于 RAG
# 减税的概念验证 (§6)
    A. 可恢复: 同时检索源历史与记忆, 联合重排后作答
    B. 记住如何记: 把过去的查询与检索到的证据也写入记忆库

4. 训练 / 推理流程

主结果（Table 1，judge accuracy %）：RAG（2 轮）在 LongMemEval-s 的三个骨干上为 72.2 / 81.4 / 90.0；多数记忆系统低于它，如 OpenViking 31.8 / 58.8 / 63.0；仅有少数单元格为正（如 PlugMem 在 MINT-Eval 的 Qwen3.6-27B +0.1、GPT-5.6 Luna +3.3，Mem-T 在 MINT-Eval 的 Luna +3.9）。

信息损失标注（Table 2，抽样原子事实）：OpenViking 无损仅 39.4%、无对应记忆单元 38.0%；MemoryOS 无损 98.4%；MAGMA 93.6%。

推广：experiential memory（ALFWorld、WebShop、Mind2Web、BigCodeBench、AppWorld、$\tau^2$-Bench，Qwen3.5-4B）与 world-model memory（Context-as-Memory、MemoBench）。

详细算法

1. 问题设定

自回归 LLM：$p_\theta(x_{t+1}\mid x_{1:t})$；有 KV cache 时 $p_\theta(x_{t+1}\mid x_t,\mathcal C_{1:t-1})$。智能体轨迹 $x_{1:t}$ 包含 prompt、assistant 消息与工具响应，称为 logical token sequence。Active cache $\mathcal C$ 是后续 attention 实际可见的 KV 集合，其长度不必等于逻辑长度，且缓存项的位置编码索引也可独立于其逻辑索引。

目标：在不改变轨迹文本、不 re-prefill 保留部分的情况下，让 $\mathcal C$ 受智能体 / harness 控制，同时服务端能正确复用、驱逐与恢复这些「历史相关」的缓存。

2. 关键公式

三种缓存操作：

$$\operatorname{append}(x_{t+1}):\ \mathcal C\leftarrow[\mathcal C;\,C_{t+1}]$$

$$\operatorname{drop}(P):\ \mathcal C\leftarrow\mathcal C\setminus\{C_i:i\in P\}$$

（drop 只让这些 KV 不再参与后续 attention，保留项及其位置编码不变。）

Repos（RoPE 重定位）：保留 $r$ 个缓存项，其位置索引重置为 $0,\ldots,r-1$，下一个 token 使用索引 $r$。对 RoPE 键从位置 $p$ 移到 $q$：

$$K\leftarrow R(q)\,R(p)^{-1}K,\qquad V\ \text{不变}$$

缓存操作序列（确定性地描述缓存状态，从空缓存起）：

$$o_{1:m}=(o_1,\ldots,o_m),\qquad o_j\in\{\operatorname{append}(x),\ \operatorname{drop}(P),\ \operatorname{repos}\}$$

对固定 LLM，该序列决定当前缓存状态；仅有 token 与保留位置不足以决定下一 token 的概率。

3. 逐步伪代码

# 智能体侧 (tool-response rolling drop, 主策略)
每轮 agent 迭代:
    messages = 完整逻辑历史                       # 文本不改
    cache.drop  = 把 "早于最近 12 条的工具响应" 的消息下标加入 drop 表
    if 活跃上下文长度 > repos 阈值:  cache.reposition 追加当前消息边界
    请求 = {model, messages, cache}              # 无状态: 每次请求完整描述自己用到的缓存
    response = AKV.chat(请求)

# 服务端 AKV (对每个请求)
1. 前缀匹配: 在 extended radix tree 上沿 (token, 操作) 匹配
       - 遇到 drop 节点 Δ(记录被丢弃的逻辑下标): 仅当操作历史一致才复用
       - 遇到 reposition 节点: 位置编号一致则直接复用; 不一致则 "拷贝 + 旋转 K" (V 直接拷贝)
2. 缺失部分 (被逐出或首次出现) 用 segment-batch attention 单次 prefill 恢复:
       for 每一层:
           按 drop / repos 触发点把 query 切成段
           每段: 因果地 attend 自己的 token + 之前各段的 *活跃* 缓存
                 (被 drop 的缓存对之后的段不可见, 对原先使用它的更早的段仍可见)
           需要不同位置编码的段 -> 临时旋转 K / 拷贝 V 生成临时版本
           FFN 对整个序列只做一次批处理
3. 解码: 在 active cache 上生成, 把新 KV 写入树
4. 逐出: 先回收 "已被所有相关请求 drop" 的缓存, 再回收已完成请求的缓存; 节点保留为空占位, 以便后代缓存仍可前缀匹配

4. 训练 / 推理流程

评测模型：MiniMax-M2.7（230B 总参 / 10B 激活）、GPT-OSS-120B（高推理强度）、MiroThinker-1.7-Mini（30B / 3B 激活）。基准：BrowseComp-Plus（BCP）、xbench-DeepSearch-2510、GAIA 文本验证子集（103 题）、SWE-bench Verified。

对照：Standard（模型相关的摘要阈值：96K / 96K / 192K tokens）与 Text Engineering（统一 48K 阈值摘要）；AKV 取最近 12 条工具响应滚动 drop，repos 阈值同 Standard。

成本核算：用各厂商公开单价，对 AKV 每个被 repos 的 token 按缓存命中价额外计费（有意高估键旋转成本）。服务实验：基于 SGLang，8×A800-80GB（4 卡 prefill + 4 卡 decode，TP=4），因 A800 无原生 MXFP4，权重用 BF16。

详细算法

1. 问题设定

输入：当前截图 $s_t$、结构化动作 $a_t$（类型、触控坐标、文本）、实际观察到的下一屏 $s_{t+1}$。训练数据：1,845,659 条真实 GUI 转移（Android in the Wild 55%、MiniWoB++ 25%、GUIOdyssey 9.8%、AndroidControl 6.9%、AMEX 3.3%），不需要任何语义标注。目标：(1) 判断 $(s_t,a_t,s_{t+1})$ 是否与学到的正常 GUI 动力学一致；(2) 判断不一致是否有害。

2. 关键公式

预测与目标（$f_\xi$ 为 $f_\theta$ 的 EMA 拷贝，sg 为 stop-gradient；$\hat z,\bar z\in\mathbb R^{512\times768}$）：

$$\hat{\mathbf z}_{t+1}=g_\phi\big(\mathbf z_t,\ e_\psi(a_t)\big),\qquad \bar{\mathbf z}_{t+1}=\mathrm{sg}\big[f_\xi(s_{t+1})\big]$$

动作编码：$[\text{type token};\ \text{MiniLM(text)};\ \text{2D-sinusoid}(x,y)]$（坐标用与视觉 patch 同一套位置基）。

change-weighted 预测损失（$m_p$ 为 patch 级变化掩码，$d$ 为 Smooth-L1，$\lambda_{\rm chg}=8$）：

$$\mathcal L_{\rm pred}=\frac{\sum_p w_p\,d(\hat{\mathbf z}_{t+1,p},\bar{\mathbf z}_{t+1,p})}{\sum_p w_p},\qquad w_p=1+(\lambda_{\rm chg}-1)m_p$$

总目标（$\lambda_{\rm cov}=0.01,\ \lambda_{\rm inv}=0.5$）：

$$\mathcal L=\mathcal L_{\rm pred}+\mathcal L_{\rm var}+\lambda_{\rm cov}\mathcal L_{\rm cov}+\lambda_{\rm inv}\mathcal L_{\rm inverse}$$

训练无关的转移一致性（surprise）：

$$q_{\rm int}(s_t,a_t,s_{t+1})=1-\cos\big(\hat{\mathbf z}_{t+1},\ \mathbf z^{\rm obs}_{t+1}\big),\qquad \mathbf z^{\rm obs}_{t+1}=f_\theta(s_{t+1})$$

方向读出（direction）：

$$\mathbf r_{t+1}=\big[\mathbf z^{\rm obs}_{t+1}-\hat{\mathbf z}_{t+1};\ e_\psi(a_t)\big],\qquad q_{\rm harm}=\sigma(\mathbf w^\top\mathbf r_{t+1}+b)$$

3. 逐步伪代码

# 预训练 (自监督, 无语义标注)
for step in 1..120000:                       # 全局 batch 512, AdamW, bf16, 4×A100-80GB
    取 (s_t, a_t, s_{t+1})
    z_t = f_θ(s_t);   a_tok = e_ψ(a_t)       # 动作 token: 类型 + MiniLM(文本) + 坐标(与 patch 同一位置基)
    z_hat = g_φ(z_t, a_tok)
    z_bar = stopgrad(f_ξ(s_{t+1}))           # EMA 编码器
    m = patch 级变化掩码 (由图像对计算, 无语义)
    L = L_pred(加权) + L_var + 0.01*L_cov + 0.5*L_inverse(从 (z_t, z_bar) 恢复 a_t)
    if step > 30000 且 属于 multi-step 批:  用 2~3 步 rollout (把预测输出喂回作上下文) 代替单步损失
    更新 θ, φ, ψ;  ξ <- EMA(θ)

# 运行时验证 (每一步 agent 动作之后)
s_t, a_t -> z_hat
观察到 s_{t+1} -> z_obs = f_θ(s_{t+1})
score_int  = 1 - cos(z_hat, z_obs)            # 越大越可疑 (无需标注, 17ms)
if score_int > 阈值:
    q_harm = σ(w^T [z_obs - z_hat ; e_ψ(a_t)] + b)    # 线性头, 只在独立 split 上训练
    q_harm 高 -> 有害 (如凭证劫持);  q_harm 低 -> 良性意外 (如通知/布局变化)

4. 训练 / 推理流程

参数量：训练图 261M（含 EMA 编码器与 inverse-dynamics 头）；运行时仅 $f_\theta$、$e_\psi$、$g_\phi$，共 172.86M。评测：RSWT-Bench（222 个 donor 对，共 966 条转移；三名标注员盲审 72 个分层样本与构造标签一致率 $96.3\pm0.8\%$），指标 RSWT / Swap / Cred 的成对 AUC，延迟在 batch=1、单张 A100-80GB 上测。有监督头只在不相交的 6,786 条样本上训练。对照：闭源 VLM（零样本同一 prompt）、开源 VLM、以及先渲染未来再由 Gemini 3.7 Flash 评判的 GUI 世界模型（gWorld、SAWM、Code2World、MobileWorld-HTML）。