安全与对齐 Safety & Alignment

详细算法

1. 问题设定

【说明】这是一篇系统 / 流程类博客，没有数学形式化的新算法；以下按其公开描述整理成「分层筛查 + 升级」的流程，数值（5%、15 分钟、30 分钟等）均为博客所述。 目标：在训练、评测、内部使用与外部部署中，尽早发现智能体越权行为与失对齐，在代价（算力）与召回之间取得平衡。

2. 关键公式

本文没有数学公式。博客给出的量化参数如下（均为 OpenAI 所述）：

• L0 对未标记流量的随机复查比例：$5\%$；
• L1 检查间隔目标：$\le 30$ 分钟；
• 最高优先级告警触达人工：通常 $\le 15$ 分钟；
• 拟议安全阀：寻呼后 $30$ 分钟内未排除最高优先级告警则自动暂停相关活动。

设计取向是「前面几层宁可多放行（高召回），后面几层把算力花在单个案例上」；博客没有公布各层召回 / 精确率的数值表（图表见原文，本站未读取图中数值）。

3. 逐步伪代码

# 据博客描述整理的流程（概念性，非 OpenAI 代码）
for 每个受监控的工作负载 (RL run / 评测 / 内部 Codex / 外部部署的受控版本):
    if 工作负载是前沿 RL 或内部 Codex:  跳过 L0
    else:
        L0: activation probe(内部激活) -> 高召回, 允许误报
            未标记流量中随机 5% 也送 L1  (用来发现探针漏掉的)
    L1: 模型审查员 (同一上下文窗口; 看对话 + 思维链 + 工具调用)
        在每个 turn 结束 / 每次摘要时运行 (目标: 间隔 <= 30 分钟)
        找: 欺骗 / 越权 / 操纵评测
    if L1 标记:
        L2: 调查智能体 (可读全部上下文窗口, 写并运行隔离代码取证)
            安全调查员: 是否需要人立刻介入 (逃逸沙箱, 未授权访问)
            对齐调查员: 是否值得研究 (无即时安全风险)
        if 敏感工作负载:
            L3: 对照网络日志 / 系统遥测 / 历史案例  -> 决定是否呼叫人
        if 最高优先级(P0):
            呼叫安全与训练团队 (通常 <=15 分钟; 部分负载可自动暂停)
# 训练侧原则: 被标记的 RL 样本不改奖励, 仍保留在训练中; 监控异步, 不阻塞训练

4. 训练 / 推理流程

评估闭环：(1) 回放已记录事件（来自训练、评测、内部使用）并检查是否识别、是否给出足够高的优先级；(2) 在隔离环境运行模拟攻击——OAI-repo Sabotage v2（智能体在正常编码任务中追求隐藏目标，如关闭监控或部署未批准检查点）与 Sneaky Sandbox Escape（试图逃出沙箱并关闭外部测试监控进程）；监控员看得到推理但看不到下达隐藏目标的指令；(3) 对放行流量的随机审计；(4) 红队：让最强智能体尝试规避或关闭监控；(5) 在中央仪表板上跟踪各阈值的召回，部署前先测改动对召回的影响。

详细算法

1. 问题设定

非可验证任务。数据 $\mathcal D=\{(x,\mathcal R(x))\}$，$\mathcal R(x)=\{(r_j,w_j)\}_{j=1}^M$ 为由 LLM 合成的评分细则及重要性权重；策略 $\pi_\theta$ 采样开放式响应 $y$。LLM grader 对每个 rubric 给二值覆盖标签 $s_j=\mathbb I[y\text{ satisfies }r_j]$。基线奖励是加权覆盖率（recall）。目标：设计既不依赖更多人工细则、又能抑制「堆砌」的奖励。

2. 关键公式

Rubric recall（式 1）：

$$\mathrm{Rec}(x,y)=\frac{\sum_{j=1}^{M}w_j\,s_j(x,y)}{\sum_{j=1}^{M}w_j}$$

必要性额度（式 2–3；$m_{ji}=\mathbb I[u_i\text{ 对 }r_j\text{ 有贡献}]$，$K_j=\sum_i m_{ji}$）：

$$a_{ji}=\begin{cases}m_{ji}/K_j,&K_j>0\\0,&K_j=0\end{cases},\qquad c_i=\sum_{j=1}^Ma_{ji},\qquad N_i=\mathbb I[c_i\ge\tau]$$

事实正确性（式 4）：$C_i=\mathbb I[u_i\text{ 事实正确}]$。精确率（式 5）：

$$\mathrm{Prec}(x,y)=\frac1n\sum_{i=1}^{n}N_iC_i$$

Fork 奖励（式 6，$\beta>1$ 偏重 recall，$\beta<1$ 偏重 precision）：

$$r_{\rm FORK}(x,y)=\frac{(1+\beta^2)\,\mathrm{Prec}\cdot\mathrm{Rec}}{\beta^2\,\mathrm{Prec}+\mathrm{Rec}}\quad(\mathrm{Prec}+\mathrm{Rec}>0;\ \text{否则 }0)$$

目标（式 7）：

$$\max_\theta\ \mathbb E_{x\sim\mathcal D,\ y\sim\pi_\theta(\cdot|x)}\big[r_{\rm FORK}(x,y)\big]$$

3. 逐步伪代码

# 每个训练步 (GRPO, 16 rollouts/prompt)
for 每个 prompt x (含 rubric 集 R(x) = {(r_j, w_j)}):
    采样 16 条响应 y_1..y_16 ~ π_θ(·|x)
    for 每条响应 y:
        units = LLM_unitize(y)                          # 约一句一个 unit; 丢弃问候/标题/过渡
        s_j   = LLM_cover(y, r_j)       for j in 1..M   # 覆盖标签
        Rec   = Σ w_j s_j / Σ w_j
        m_ji  = LLM_match(r_j, u_i)                     # 每个 (rubric, unit) 是否贡献
        K_j   = Σ_i m_ji;   a_ji = m_ji/K_j (K_j>0 else 0)
        c_i   = Σ_j a_ji
        τ     = LLM_threshold(c_1..c_n)                 # grader 给出必要性阈值
        N_i   = 1[c_i >= τ];   C_i = LLM_factcheck(u_i, x)
        Prec  = (1/n) Σ N_i * C_i
        r     = F_β(Prec, Rec)                          # 奖励
    A_k = (r_k - mean(r)) / std(r)                      # GRPO 组内优势
    用 GRPO 目标更新 θ

# 超参: batch 128, lr 4.2e-6 (常数 + 5% warmup), 3 epochs, 8×H100, 上下文 2,000 tokens, T=1.0
# 训练 grader: Qwen3.6-35B-A3B;  评测参考 grader: GPT-5.4

4. 训练 / 推理流程

基座：Qwen2.5-7B-Instruct。数据：RubricHub 的 Medical 子集（训练 12,519 / 测试 1,391）与 Science 子集（19,806 / 2,201，去除 ResearchQA 来源以便作外部评测）。外部评测：HealthBench（医疗）、ResearchQA（科学）。评测方式：(1) rubric-based：macro recall / precision / $F_1$；(2) rubric-free：对基座的 win rate 与平均长度。基线：Standard、OnlineRubrics、Universal Rubrics、Reweighted Absence-Based Rubrics（覆盖类）；Holistic Preference（偏好类）；以及作者自己的精确率变体 Generic / Offline / Online Criteria。

详细算法

1. 问题设定

输入：当前截图 $s_t$、结构化动作 $a_t$（类型、触控坐标、文本）、实际观察到的下一屏 $s_{t+1}$。训练数据：1,845,659 条真实 GUI 转移（Android in the Wild 55%、MiniWoB++ 25%、GUIOdyssey 9.8%、AndroidControl 6.9%、AMEX 3.3%），不需要任何语义标注。目标：(1) 判断 $(s_t,a_t,s_{t+1})$ 是否与学到的正常 GUI 动力学一致；(2) 判断不一致是否有害。

2. 关键公式

预测与目标（$f_\xi$ 为 $f_\theta$ 的 EMA 拷贝，sg 为 stop-gradient；$\hat z,\bar z\in\mathbb R^{512\times768}$）：

$$\hat{\mathbf z}_{t+1}=g_\phi\big(\mathbf z_t,\ e_\psi(a_t)\big),\qquad \bar{\mathbf z}_{t+1}=\mathrm{sg}\big[f_\xi(s_{t+1})\big]$$

动作编码：$[\text{type token};\ \text{MiniLM(text)};\ \text{2D-sinusoid}(x,y)]$（坐标用与视觉 patch 同一套位置基）。

change-weighted 预测损失（$m_p$ 为 patch 级变化掩码，$d$ 为 Smooth-L1，$\lambda_{\rm chg}=8$）：

$$\mathcal L_{\rm pred}=\frac{\sum_p w_p\,d(\hat{\mathbf z}_{t+1,p},\bar{\mathbf z}_{t+1,p})}{\sum_p w_p},\qquad w_p=1+(\lambda_{\rm chg}-1)m_p$$

总目标（$\lambda_{\rm cov}=0.01,\ \lambda_{\rm inv}=0.5$）：

$$\mathcal L=\mathcal L_{\rm pred}+\mathcal L_{\rm var}+\lambda_{\rm cov}\mathcal L_{\rm cov}+\lambda_{\rm inv}\mathcal L_{\rm inverse}$$

训练无关的转移一致性（surprise）：

$$q_{\rm int}(s_t,a_t,s_{t+1})=1-\cos\big(\hat{\mathbf z}_{t+1},\ \mathbf z^{\rm obs}_{t+1}\big),\qquad \mathbf z^{\rm obs}_{t+1}=f_\theta(s_{t+1})$$

方向读出（direction）：

$$\mathbf r_{t+1}=\big[\mathbf z^{\rm obs}_{t+1}-\hat{\mathbf z}_{t+1};\ e_\psi(a_t)\big],\qquad q_{\rm harm}=\sigma(\mathbf w^\top\mathbf r_{t+1}+b)$$

3. 逐步伪代码

# 预训练 (自监督, 无语义标注)
for step in 1..120000:                       # 全局 batch 512, AdamW, bf16, 4×A100-80GB
    取 (s_t, a_t, s_{t+1})
    z_t = f_θ(s_t);   a_tok = e_ψ(a_t)       # 动作 token: 类型 + MiniLM(文本) + 坐标(与 patch 同一位置基)
    z_hat = g_φ(z_t, a_tok)
    z_bar = stopgrad(f_ξ(s_{t+1}))           # EMA 编码器
    m = patch 级变化掩码 (由图像对计算, 无语义)
    L = L_pred(加权) + L_var + 0.01*L_cov + 0.5*L_inverse(从 (z_t, z_bar) 恢复 a_t)
    if step > 30000 且 属于 multi-step 批:  用 2~3 步 rollout (把预测输出喂回作上下文) 代替单步损失
    更新 θ, φ, ψ;  ξ <- EMA(θ)

# 运行时验证 (每一步 agent 动作之后)
s_t, a_t -> z_hat
观察到 s_{t+1} -> z_obs = f_θ(s_{t+1})
score_int  = 1 - cos(z_hat, z_obs)            # 越大越可疑 (无需标注, 17ms)
if score_int > 阈值:
    q_harm = σ(w^T [z_obs - z_hat ; e_ψ(a_t)] + b)    # 线性头, 只在独立 split 上训练
    q_harm 高 -> 有害 (如凭证劫持);  q_harm 低 -> 良性意外 (如通知/布局变化)

4. 训练 / 推理流程

参数量：训练图 261M（含 EMA 编码器与 inverse-dynamics 头）；运行时仅 $f_\theta$、$e_\psi$、$g_\phi$，共 172.86M。评测：RSWT-Bench（222 个 donor 对，共 966 条转移；三名标注员盲审 72 个分层样本与构造标签一致率 $96.3\pm0.8\%$），指标 RSWT / Swap / Cred 的成对 AUC，延迟在 batch=1、单张 A100-80GB 上测。有监督头只在不相交的 6,786 条样本上训练。对照：闭源 VLM（零样本同一 prompt）、开源 VLM、以及先渲染未来再由 Gemini 3.7 Flash 评判的 GUI 世界模型（gWorld、SAWM、Code2World、MobileWorld-HTML）。